使用avro列解码hive表中的数据

dw1jzc5e  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(191)

我有一个兽人数据文件 DataFrame 在该文件上具有以下结构:

scala> eventsDF.schema
res24: org.apache.spark.sql.types.StructType = StructType(StructField(eventdata,BinaryType,false), StructField(processdate,StringType,false))

第一列中的二进制数据是avro类型。我可以查看数据库中的数据 DataFrame 使用 from_avro 功能:

scala> eventsDF.select(from_avro($"eventdata",eventschema1.toString) as 'events).show
+--------------------+
|              events|
+--------------------+
|[[1, Open, [1, Ra...|
|[[2, Cancelled, [...|
+--------------------+

我想在原始orc文件上创建一个配置单元表,并向用户提供查询配置单元表和查看第一列数据的功能。我如何做到这一点,而不必创建一个新的文件解码avro数据?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题