我有HDP2.6.1.0-129
我为序列化的flume数据文件准备了external jar example.jar。
我在自定义配置单元站点中添加了新参数
name = hive.aux.jars.path
value hdfs:///user/libs/
确实保存了新的配置,重新启动了hadoop组件,并在更长的时间内重新启动了所有hadoop集群。
在配置单元客户端之后,我尝试运行select
select * from example_serealized_table
Hive确实返回了错误
FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.ClassNotFoundException: Class com.my.bigtable.example.model.gen.TSerializedRecord not found)
如何解决这个问题?
附笔
如果您在当前会话中尝试加载项,
add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;
尝试将*.jar放入本地文件夹。问题是一样的。
1条答案
按热度按时间f4t66c6m1#
我并没有说图书馆是我的同事写的。事实证明,它重新定义了影响字段日志记录级别的变量。排除库中重写的变量后,重新生成的问题就停止了。