hadoop群集上的mapreduce作业失败,子进程失败,代码为1

xesrikrc  于 2021-07-13  发布在  Hadoop
关注(0)|答案(1)|浏览(438)

我有一个hadoop3.2.2集群,有1个namenode/resourcemanager和3个datanodes/nodemanager。
这是我的网站配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bd-1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

当我运行示例作业时 python mr_word_count.py -r hadoop -v hdfs:///user/hduser/testme.txt 我有这个错误

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:326)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:539)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)

到目前为止我做了什么:
作业运行本地python python mr_word_count.py testme.txt 添加 #!/usr/bin/python 以及 # -*-coding:utf-8 -* 到脚本头
chmod a+x mr\u word\u count.px
以单节点示例启动master,然后作业就可以工作了!
已检查webui中的日志,没有其他信息可供查找
我可以在.mrjob.conf中定义python bin,但是错误代码变为126
在控制台里我看到 map 100% reduce 100% 在webui中,我还看到作业正在处理,cpu和内存被作业消耗。
我在google上搜索和阅读stackoverflow/haddop文档,从4天开始,很多小时都没有结果。有什么问题吗?

sxpgvts3

sxpgvts31#

我忘了在所有节点上安装mr\u作业。。。
在所有节点上运行此命令修复了问题: pip3 install MRJob

相关问题