我正在使用以下命令将rdd写入文件：
rdd.coalesce(1).saveAsTextFile(FilePath)当文件路径为hdfs path时( hdfs://node:9000/folder/ )一切正常。
当文件路径为本地路径时( file:///home/user/folder/ )一切似乎都正常。将创建输出文件夹并 SUCCESS 文件也存在。
但是我没有看到任何 part-00000 包含输出的文件。没有其他文件。Spark控制台输出也没有错误。
在打电话之前，我还试着用rdd打对方付费电话 saveAsTextFile() ，给予 777 permission 无法输出文件夹，但没有工作。
请帮忙。
2条答案
按热度按时间ldioqlga1#
为了将spark对象保存到本地驱动程序文件系统，您需要使用
collect()，然后自己打开一个文件将集合写入。否则，例如，如果您作为一个yarn作业的一部分运行，您应该查看运行spark作业的nodemanagers的本地文件系统
m1m5dgzv2#
仅在使用时保存到本地生成效果
local硕士