我是hadoop新手,我有一个非常类似的问题发布在这里。唯一的问题是op在linux上运行hadoop,就像我在windows上运行hadoop一样。
我已经在本地机器上安装了hadoop azure hdinsight emulator。当我运行一个简单的字数计算程序时。mapper作业100%完美运行,但reduce作业停留在0%。
我试着按照chris的建议对它进行调试(作为对这个que的回应),发现了reducer作业运行的主机名的问题(这正是截至op的问题)
没有运行reduce localhost
相反,它在某些主机名上运行 192.168.17.213
这是没有得到解决,并不能从那里取得进展。
这些是错误日志
copy failed: attempt_201402111921_0017_m_000000_0 from 192.168.17.213
2014-02-12 01:51:53,073 WARN org.apache.hadoop.mapred.ReduceTask:
java.net.ConnectException: Connection timed out: connect
op通过改变解决了这个问题 \etc\hosts
文件设置为localhost。
但这似乎是linux配置。。如何在hadoop azure hdinsight模拟器中将主机名设置为localhost?
1条答案
按热度按时间t5fffqht1#
有一篇文章向您展示了如何在hdinsight模拟器上运行单词计数mapreduce程序。本文是hdinsight emulator入门,位于http://www.windowsazure.com/en-us/documentation/articles/hdinsight-get-started-emulator/.