使用配置单元反序列化protobuf列

bbuxkriu  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(332)

我真的是一个新的Hive,我道歉,如果有任何误解在我的问题。
我需要将一个hadoop序列文件读入一个配置单元表,序列文件是节俭二进制数据,可以使用配置单元附带的serde2反序列化。
现在的问题是:文件中的一列是用googleprotobuf编码的,因此当thrift serde处理序列文件时,它不会正确地处理protobuf编码的列。
我想知道是否有一种方法可以在hive中处理这种嵌套在节俭序列文件中的protobuf编码列,这样就可以正确地解析每一列了?
非常感谢您的帮助!

sbtkgmzw

sbtkgmzw1#

我相信你应该用其他的serde来反序列化proto buff格式,
也许你可以参考这个,
https://github.com/twitter/elephant-bird/wiki/how-to-use-elephant-bird-with-hive

相关问题