在aws emr中运行filewriter后在哪里创建输出文件

2vuwiymt  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(255)

我就是这样写文件的(scala代码)

import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt", true)
fw.write("something to write into output file")
fw.close()

这是我在aws emr上运行的spark作业的一部分。作业成功运行并完成。问题是我找不到 my_output_filename.txt 任何地方都可以。
更详细一点:我要做的是:对Dataframe的每一行进行一些处理并将其写入文件。看起来是这样的:

myDF.collect().foreach( row => {
import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt", true)
fw.write("row data to be written into file")
fw.close()
})

我如何检查:
当我在本地运行它时,我在代码所在的同一目录中找到了新创建的文件。但在远程节点中找不到它。我跑了 find / -name "my_output_filename.txt" .
我还签了hdfs: hdfs dfs -find / -name "my_output_filename.txt" 在哪里可以找到输出文件?
有没有更好的办法?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题