尝试查询具有属性行格式serde'com.bizo.hive.serde.csv.csvserde'存储为inputformat'org.apache.hadoop.mapred.textinputformat'outputformat'org.apache.hadoop.ql.io.hiveignorekeytextoutputformat'的配置单元表时,出现“java.lang.classnotfoundexception:com.bizo.hive.serde.csv.csvserde”异常
1条答案
按热度按时间s71maibg1#
解决方案是在提交spark命令时添加一个jar文件。
我也有同样的问题。我无法将spark连接到csv格式的配置单元表。但对于其他Hivetable,spark工作得很好。
在阅读了你的帖子和饶的评论后,我意识到这应该是一个缺少jar的问题。
步骤1:从这里下载一个jar文件(csv-serde-1.1.2-0.11.0-all.jar)
步骤2:然后用这个jar运行spark submit、spark shell或pyspark。我使用Pypark:
第三步:测试你的spark+hive连接:
现在应该可以了。
***注意:我使用了'com.bizo.hive.serde.csv.csvserde',因为数据是双重量化的:
包含csv csvserde的配置单元表: