使用其他文件以及emr流步骤?

u0njafvf  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(310)

我现在有一个hadoop命令,我想用awsdk复制它。
我现在使用的命令

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py

据我所知 StreamingStep 类没有提供让hadoop知道将需要其他文件以及Map器和reducer的方法。
此功能可用吗?

u5rb5r59

u5rb5r591#

我通过考试解决了这个问题 -file 选择 HadoopJarStepConfig 有我需要的文件清单。
看到这个问题了吗

相关问题