通过pyspark以rcfile格式保存数据的问题

sd2nnvve  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(218)

我已经对rcfile格式的配置单元表进行了分区。但是,在pyspark中保存Dataframe时,默认情况下表格式将更改为parquet。我想以rcfile格式保存配置单元表。例子:

df = spark.sql("select * from table-1")
df.write.option("fileformat","RCFile").mode("overwrite").saveAsTable("table-2")
``` `table-2` 文件格式是“Parquet”。我希望它是rcfile。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题