hdinsight字数Map减少程序停留在Map器100%和还原器0%

iqxoj9l9  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(305)

我是hadoop新手,我有一个非常类似的问题发布在这里。唯一的问题是op在linux上运行hadoop,就像我在windows上运行hadoop一样。
我已经在本地机器上安装了hadoop azure hdinsight emulator。当我运行一个简单的字数计算程序时。mapper作业100%完美运行,但reduce作业停留在0%。

我试着按照chris的建议对它进行调试(作为对这个que的回应),发现了reducer作业运行的主机名的问题(这正是截至op的问题)

没有运行reduce localhost 相反,它在某些主机名上运行 192.168.17.213 这是没有得到解决,并不能从那里取得进展。
这些是错误日志

copy failed: attempt_201402111921_0017_m_000000_0 from 192.168.17.213
2014-02-12 01:51:53,073 WARN org.apache.hadoop.mapred.ReduceTask:     
java.net.ConnectException: Connection timed out: connect

op通过改变解决了这个问题 \etc\hosts 文件设置为localhost。
但这似乎是linux配置。。如何在hadoop azure hdinsight模拟器中将主机名设置为localhost?

t5fffqht

t5fffqht1#

有一篇文章向您展示了如何在hdinsight模拟器上运行单词计数mapreduce程序。本文是hdinsight emulator入门,位于http://www.windowsazure.com/en-us/documentation/articles/hdinsight-get-started-emulator/.

相关问题