pyspark创建csv不起作用,仅成功文件

hfsqlsce  于 2021-07-09  发布在  Spark
关注(0)|答案(1)|浏览(352)

这可能是一个愚蠢的问题,但我刚刚开始学习Spark,现在我面临的第一个问题,我无法解决与书籍和谷歌。。。
我在和齐柏林飞艇合作,试图用服务器日志做一些分析。
我的df看起来像:

现在我想用以下代码将其保存为csv:

df_reduced.write.format("csv").mode("overwrite").save("/home/hduser/tmp")

我总是得到一个新的\u成功文件,但没有csv:

我做错什么了?
提前谢谢。

3qpi33ja

3qpi33ja1#

我可以用

df_pd = df_reduced.toPandas()
df_pd.to_csv("test.csv")

但这感觉有点像一个解决办法。
如果你能给我一些没有Pandas的建议,我会很高兴的。

相关问题