资源管理器未连接到nodemanager

wqlqzqxt  于 2021-06-04  发布在  Hadoop
关注(0)|答案(6)|浏览(563)

提前谢谢你的帮助
我正在运行以下版本:
hadoop 2.2 zookeeper 3.4.5 hbase 0.96Hive0.12
当我转到http://:50070时,我能够正确地看到2个节点正在运行。
问题是当我转到http://:8088时,它显示0个节点正在运行。
我知道:8088反映resourcemanager并显示运行的nodemanager的数量。守护进程都启动了,但是节点管理器似乎没有连接到resourcemanager。
这是日志文件:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

我查过了,端口8031是开着的。
编辑:
对于以后查看此内容的用户,我需要编辑yarn-site.xml,如下所示:

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master-1:8030</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master-1:8032</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master-1:8088</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master-1:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master-1:8033</value>
</property>
bvjxkvbb

bvjxkvbb1#

这个 rsync 或者 scp 命令可用于将配置文件从主节点复制到从节点:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/
done

注意,这里我假设所有节点都有相同的hadoop目录布局。

sdnqo3pr

sdnqo3pr2#

我遇到了一个非常类似的问题,通过指定resourcemanager主机名就解决了这个问题,不需要为每个服务指定确切的地址。

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master-1</value>
</property>
tvmytwxo

tvmytwxo3#

我遇到了一个症状非常相似的问题,尽管是nodemanager没有连接到资源管理器。问题是,在yarn-site.xml中有(或可能有)一个名为“yarn.nodemanager.hostname”的属性。该设置被意外地填充了hdfs“namenode”的主机名,但它应该包含每个节点“nodemanager”的Yarn主机名。根据为其他属性输入的内容,这会导致各种错误,如“重试连接”、“连接被拒绝”或资源分配错误。将此设置为“0.0.0.0”(默认值)修复了问题。

8wtpewkr

8wtpewkr4#

您需要指定
hostname:port
是的,它必须在所有节点上设置,而不仅仅是resourcemanager节点(只要将相同的hadoop的conf dir复制到所有节点上就可以了)。如果您需要一些最低限度的工作配置来开始,请看这里:toster.ru/q/57046ţanswer

fruv7luv

fruv7luv5#

是否已启用?
如果已启用,则为yarn-site.xml yarn.resourcemanager.ha.rm-ids(例如rm1、rm2)中提到的每个资源管理器运行resourcemanager服务。

jk9hmnmh

jk9hmnmh6#

我也有同样的问题,但在我的例子中,资源管理器中只列出了一个节点manage。我将属性放在yarn-site.xml的下面,可以看到rm中列出的节点。

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value><master-1></value>
</property>

相关问题