我有以下问题:这些图片描述了我在hadoop集群上的资源管理器,在节点“node http address”中有两个节点的这些地址
localhost:8042
localhost:8042
而不是我想要的真正的ip地址的主机节点。我的群集配置是
第一台带有hadoopmaster和hadoopslave1的机器
带hadoopslave 2的第二台机器
第一台计算机上的my/etc/主机配置:
127.0.0.1 localhost vlchaosfile001 vlchaosfil001
192.168.143.91 HadoopMaster HadoopSlave2
192.168.143.92 HadoopSlave1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
第二台计算机上的my/etc/主机配置:
127.0.0.1 localhost vlchaosfil002
192.168.143.91 HadoopMaster HadoopSlave2
192.168.143.92 HadoopSlave1
# following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
这是my-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>HadoopMaster:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>HadoopMaster:8035</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>HadoopMaster:8050</value>
</property>
2条答案
按热度按时间jm2pwxwz1#
好吧,在hadoop集群中更改主机名是一项非常困难和危险的工作。考虑从头开始的新安装,您已经意识到了;)
强烈建议使用fqdn而不是短主机名。这正是进行这种改变的好时机。
总的来说,您必须检查/更改所有配置文件,但是如果您想拥有一个功能性的ambari控制台,您还必须更新ambari db元数据。
以下是一般程序:
停止群集。
导出ambari的mysql数据库。
更新mysql导出表ambari.hosts、ambari.hoststate、ambari.clusterhostmapping、ambari.host\u role\u命令和ambari.hostcomponentdesiredstate中的主机名(host\u name)
更新hive.dbs以获得正确的db\u位置\u uri,更新hive.sds以获得新主机名。
重新导入数据库。
授予数据库对mysql支持的配置单元/元存储的新主机名的访问权限
编辑ambari代理ini文件和更新主机名的配置文件。
检查/更改所有配置文件,如hdfs站点、yarn站点、mapred站点等,以及不太明显的文件,如ambari代理、zookeeper等。。。
启动然后停止群集以写入所有配置并检查元数据。
交叉你的手指,做最后的开始。
up9lanfz2#
首先:使用hadoop时禁用ipv6。
你没有发布你的yarn配置,所以我最好的猜测是你已经将yarn.resourcemanager.设置为“localhost”