这是我第一次使用hadoop做任何事情,所以我开始使用基本的程序,也就是单词计数。在我的本地机器上,它工作得很好。真实的的问题是我不能在hadoop集群上运行。
这是我在终端上运行的:
hadoop jar /home/hdoop/hadoop-3.3.4/share/hadoop/tools/lib/hadoop-streaming-3.3.4.jar \
-input /main/data.txt \
-output /main/output \
-mapper /home/hdoop/mapper.py \
-reducer /home/hdoop/reducer.py
这就是我的困惑所在
我访问了http://localhost:8088/cluster/apps
,但它在0上停留了几个小时。
1条答案
按热度按时间vc9ivgsu1#
YARN中的“活动节点”为零,“总资源”为零;因此,您的应用程序将暂停,直到ResourceManagers报告NodeManagers运行正常。
检查NodeManager进程日志以了解其不正常的原因。