如何解决从amazonemr集群上传文件到s3的问题

b4wnujal  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(222)

每次处理作业时都会看到此错误消息。

Error: com.amazonaws.util.IOUtils.copy(Ljava/io/InputStream;Ljava/io/OutputStream;)J

我的作业已经上传了一个特定的文件到s3,尽管这个作业实际上同时创建了5个文件,而且所有的文件都应该上传到s3。这些文件中只有一个部分/全部上载到s3。我不确定这是否与我的工作流调度器的依赖树冲突,或者与我正在使用的代码有关。我可以看到,有3个依赖项已为解决:

<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk</artifactId>.

一个是1.9.26,另两个版本号较低。
这可能是上述问题的一个原因吗?如果是,如何解决?如果没有,关于我应该怎么做还有其他建议吗?
必须使用的jar都驻留在s3上。当我通过手动而不是通过调度程序启动作业来运行相同的工作流时,我看到流程在用于手动运行的集群上运行良好。我现在在无人区想办法解决这个问题。请帮帮我!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题