我有一个hadoop3.2.2集群,有1个namenode/resourcemanager和3个datanodes/nodemanager。
这是我的网站配置
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bd-1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
当我运行示例作业时 python mr_word_count.py -r hadoop -v hdfs:///user/hduser/testme.txt
我有这个错误
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:326)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:539)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
到目前为止我做了什么:
作业运行本地python python mr_word_count.py testme.txt
添加 #!/usr/bin/python
以及 # -*-coding:utf-8 -*
到脚本头
chmod a+x mr\u word\u count.px
以单节点示例启动master,然后作业就可以工作了!
已检查webui中的日志,没有其他信息可供查找
我可以在.mrjob.conf中定义python bin,但是错误代码变为126
在控制台里我看到 map 100% reduce 100%
在webui中,我还看到作业正在处理,cpu和内存被作业消耗。
我在google上搜索和阅读stackoverflow/haddop文档,从4天开始,很多小时都没有结果。有什么问题吗?
1条答案
按热度按时间sxpgvts31#
我忘了在所有节点上安装mr\u作业。。。
在所有节点上运行此命令修复了问题:
pip3 install MRJob