下面的代码是如何使用scala将其写入hdfs的。创建配置单元表以查询此数据的hql语法是什么?
import com.databricks.spark.avro._
val path = "/user/myself/avrodata"
dataFrame.write.avro(path)
我发现的示例需要提供一个avro.schema.literal来描述模式,或者提供一个avro.schema.url来描述实际的avro模式。
在spark shell中,我需要做的是:
scala> import com.databricks.spark.avro._
scala> val df = sqlContext.read.avro("/user/myself/avrodata")
scala> df.show()
1条答案
按热度按时间kzmpq1sx1#
所以我作弊是为了让它发挥作用。基本上,我创建了一个临时表,并使用hql从temp表中创建和插入数据。这个方法使用临时表中的元数据并创建我想要创建和填充的avro目标表。如果Dataframe可以从它的模式中创建一个临时表,为什么不能将表保存为avro呢?