我就是这样写文件的(scala代码)
import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt", true)
fw.write("something to write into output file")
fw.close()
这是我在aws emr上运行的spark作业的一部分。作业成功运行并完成。问题是我找不到 my_output_filename.txt
任何地方都可以。
更详细一点:我要做的是:对Dataframe的每一行进行一些处理并将其写入文件。看起来是这样的:
myDF.collect().foreach( row => {
import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt", true)
fw.write("row data to be written into file")
fw.close()
})
我如何检查:
当我在本地运行它时,我在代码所在的同一目录中找到了新创建的文件。但在远程节点中找不到它。我跑了 find / -name "my_output_filename.txt"
.
我还签了hdfs: hdfs dfs -find / -name "my_output_filename.txt"
在哪里可以找到输出文件?
有没有更好的办法?
暂无答案!
目前还没有任何答案,快来回答吧!