如何在pyspark sql中保存表?

0dxa2lsx  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(478)

我想将结果表保存到csv、文本文件或类似文件中,以便能够使用rstudio执行可视化。
我正在使用pyspark.sql在hadoop设置中执行一些查询。我想将结果保存在hadoop中,然后将结果复制到本地驱动器中。

myTable = sqlContext.sql("SOME QUERIES")
myTable.show() # Show my result
myTable.registerTempTable("myTable") # Save as table
myTable.saveAsTextFile("SEARCH PATH") # Saving result in my hadoop

这将返回:
attributeerror:“dataframe”对象没有“saveastextfile”属性
当我只使用pyspark,即不使用pyspark.sql时,我通常是这样做的。
然后我复制到本地驱动器

hdfs dfs –copyToLocal SEARCH PATH

有人能帮我吗?

zaq34kh6

zaq34kh61#

你可以用 DataFrameWriter 使用支持的格式之一。例如,对于json:

myTable.write.json(path)

相关问题