我有一个hadoop0.2.2集群,由2个节点组成。在我启动的第一台机器上:
名称节点
数据节点
节点管理器
资源经理
作业历史服务器
在第二天,我也开始所有这些,除了namenode:
数据节点
节点管理器
资源经理
作业历史服务器
我的 mapred-site.xml
在两台机器上都包含:
<property>
<name>mapred.job.tracker</name>
<value>firstMachine:54311</value>
</property>
两台计算机上的my core-site.xml都包含:
<property>
<name>fs.default.name</name>
<value>hdfs://firstMachine:9000</value>
</property>
控制台在 http://firstMachine:50070
报告2个节点:
Live Nodes : 2 (Decommissioned: 0)
但是控制台 http://firstMachine:8088
(那张Map上写着“减少工作历史”之类的东西)一直在说:
Active Nodes: 1
另外,无论是否使用第二台机器执行map reduce,hadoop都会产生几乎相同的性能。以wordcout为例,使用了4个大文件。
我的问题是:如何检查map reduce是否在多台(本例中为2台)机器上执行,而不仅仅是在启动它的机器上执行?
如果我的hadoop map reduce实际上没有看到另一个hadoop示例,那么如何使它看到它(如何配置它在两台机器上运行map reduce)?
1条答案
按热度按时间2fjabf4q1#
好吧,我找到答案了。显然,在2.2版中,大部分(全部?)与mapred相关的内容现在都转移到了yarn上。因此,我没有使用mapred-site.xml文件,而是使用了yarn-site.xml文件,并将其添加到:
(注意,我不必添加端口,这里只声明主机。端口将以其默认值使用)。
现在控制台显示2个活动节点,map/reduce作业的速度快了20%。