hive添加jar

nwlqm0z1 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(471)

我需要将xml存储在hdfs中，并在hdfs文件夹上创建hive表。我一直在尝试使用这个链接中提供的一个
在使用addjar命令从链接下载之后，我已经将serdejar添加到了hive中。
添加jar hivexmlserde-1.0.5.3.jar
我还收到一条信息说“添加了。。。“到类路径”
list jars也证实了这一点。但当我尝试创建同一链接中提到的表时，它失败了，并显示以下消息
失败：semanticexcepton找不到类com.ibm.spss.hive.serde2.xml.xmlinputformat
请帮忙。
注意：我使用hdp2.3
附件是结果的截图。

hadoop Hive xml Jar

来源：https://stackoverflow.com/questions/34406012/hive-add-jar-on-hdp-sandbox

2条答案

按热度按时间

emeijp431#

我能够在hdp2.3沙盒上创建表。我理解这个问题。addjar和list jar成功并不意味着jar对您可用。
遵循以下步骤：

Login to the terminal
cd to the path where your jar file is
ls -ltr hivexmlserde-1.0.5.3.jar
Launch hive cli and perform following
hive> add jar hivexmlserde-1.0.5.3.jar;
Added [hivexmlserde-1.0.5.3.jar] to class path
Added resources: [hivexmlserde-1.0.5.3.jar]
hive> CREATE TABLE xml_bank(customer_id STRING, income BIGINT, demographics map<string,string>, financial map<string,string>)
    > ROW FORMAT SERDE 'com.ibm.spss.hive.serde2.xml.XmlSerDe'
    > WITH SERDEPROPERTIES (
    > "column.xpath.customer_id"="/record/@customer_id",
    > "column.xpath.income"="/record/income/text()",
    > "column.xpath.demographics"="/record/demographics/*",
    > "column.xpath.financial"="/record/financial/*"
    > )
    > STORED AS
    > INPUTFORMAT 'com.ibm.spss.hive.serde2.xml.XmlInputFormat'
    > OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
    > TBLPROPERTIES (
    > "xmlinput.start"="<record customer",
    > "xmlinput.end"="</record>"
    > );
OK
Time taken: 2.042 seconds
hive> select * from xml_bank;
OK
Time taken: 0.801 seconds