我有一个兽人数据文件 DataFrame
在该文件上具有以下结构:
scala> eventsDF.schema
res24: org.apache.spark.sql.types.StructType = StructType(StructField(eventdata,BinaryType,false), StructField(processdate,StringType,false))
第一列中的二进制数据是avro类型。我可以查看数据库中的数据 DataFrame
使用 from_avro
功能:
scala> eventsDF.select(from_avro($"eventdata",eventschema1.toString) as 'events).show
+--------------------+
| events|
+--------------------+
|[[1, Open, [1, Ra...|
|[[2, Cancelled, [...|
+--------------------+
我想在原始orc文件上创建一个配置单元表,并向用户提供查询配置单元表和查看第一列数据的功能。我如何做到这一点,而不必创建一个新的文件解码avro数据?
暂无答案!
目前还没有任何答案,快来回答吧!