如何使用sparkscala将dataframe写入sheetname的csv文件

pb3skfrl 于 2021-05-29 发布在 Spark

关注(0)|答案(3)|浏览(513)

我正在尝试用选项sheetname将Dataframe写入csv文件，但它不适合我。

df13.coalesce(1).write.option("delimiter",",").mode(SaveMode.Overwrite).option("sheetName","Info").option("header","true").option("escape","").option("quote","").csv("path")

有人能帮我吗

DataFrame apache-spark apache-spark-sql

来源：https://stackoverflow.com/questions/62383568/how-to-write-dataframe-to-csv-file-with-sheetname-using-spark-scala

3条答案

按热度按时间

50pmv0ei1#

我们只能在csv文件中有一个默认工作表如果我们想要多个工作表，那么我们应该将数据框写入excel格式而不是csv文件格式。

赞(0）回复(0）举报 2021-05-29

3hvapo4f2#

spark不能直接在写作的时候这样做 csv ，没有选择 sheetName ，输出路径是您提到的.csv（“路径”）路径。
spark使用hadoops文件格式，它在输出路径下的多个部分文件中进行分区，在您的案例中是一个部分文件。另外，除非您真的需要，否则不要将分区重新划分为1。
您可以做的一件事是编写Dataframe而不重新分区，并使用hadoopapi将这些小的多部分文件合并到单个文件中。
这里有更多关于使用spark csv编写单个csv文件的详细信息

赞(0）回复(0）举报 2021-05-29

9rnv2umw3#

我不认为在csv文件中实际上有一个表名，理想情况下，文件名是csv文件中的表名。你能试着换成excel然后试着。。

赞(0）回复(0）举报 2021-05-29