我有一个3节点的hadoop集群。我运行了一个mapreduce作业—其中两个节点(name node和一个datanode)上的Map程序正常完成—但datanode2上的Map程序启动,但在大约半小时后超时。奇怪的是因为这些事实:其他两个节点上的同类Map器需要1到2分钟才能完成所有三个节点使用相同的硬件datanode2上的Map程序占用了接近100%的cpu,因此它们实际上正在运行。你知道是什么原因造成的吗?或者怎么调试?
mpbci0fu1#
根据hadoop架构,您可以检查dn-2的数据节点日志,如果dn-2的cpu利用率是100%,那么您的程序肯定不会在dn-2中工作。
1条答案
按热度按时间mpbci0fu1#
根据hadoop架构,您可以检查dn-2的数据节点日志,如果dn-2的cpu利用率是100%,那么您的程序肯定不会在dn-2中工作。