yarn显示作业已成功（在yarn ui中），但emr显示步骤（在emr控制台ui中）仍在运行，并且永远像tat一样显示。有什么想法吗？我将json部分文件写入s3，在驱动程序日志中看到：
Caused by: java.io.IOException: File already exists:s3n:
但司机仍在运行，但Yarn显示成功。
fruv7luv1#
我遇到了同一个问题，s3告诉我文件已经存在，作业正在按预期完成。首先，不要使用 s3n:// ，使用 s3:// 相反，正如本期所建议的那样。为了摆脱 IOException ，我启用了emrfs一致性视图，这是推荐给“使用amazons3作为数据存储运行快速、连续步骤的集群”的，这就是我的例子。基督教青年会。
s3n://
s3://
IOException
1条答案
按热度按时间fruv7luv1#
我遇到了同一个问题，s3告诉我文件已经存在，作业正在按预期完成。首先，不要使用
s3n://，使用s3://相反，正如本期所建议的那样。为了摆脱
IOException，我启用了emrfs一致性视图，这是推荐给“使用amazons3作为数据存储运行快速、连续步骤的集群”的，这就是我的例子。基督教青年会。