更改节点群集ip hadoop

yhuiod9q  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(428)

我有以下问题:这些图片描述了我在hadoop集群上的资源管理器,在节点“node http address”中有两个节点的这些地址
localhost:8042
localhost:8042
而不是我想要的真正的ip地址的主机节点。我的群集配置是
第一台带有hadoopmaster和hadoopslave1的机器
带hadoopslave 2的第二台机器
第一台计算机上的my/etc/主机配置:

  1. 127.0.0.1 localhost vlchaosfile001 vlchaosfil001
  2. 192.168.143.91 HadoopMaster HadoopSlave2
  3. 192.168.143.92 HadoopSlave1
  4. # The following lines are desirable for IPv6 capable hosts
  5. ::1 localhost ip6-localhost ip6-loopback
  6. ff02::1 ip6-allnodes
  7. ff02::2 ip6-allrouters

第二台计算机上的my/etc/主机配置:

  1. 127.0.0.1 localhost vlchaosfil002
  2. 192.168.143.91 HadoopMaster HadoopSlave2
  3. 192.168.143.92 HadoopSlave1
  4. # following lines are desirable for IPv6 capable hosts
  5. ::1 localhost ip6-localhost ip6-loopback
  6. ff02::1 ip6-allnodes
  7. ff02::2 ip6-allrouters

这是my-site.xml:

  1. <property>
  2. <name>yarn.nodemanager.aux-services</name>
  3. <value>mapreduce_shuffle</value>
  4. </property>
  5. <property>
  6. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  7. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  8. </property>
  9. <property>
  10. <name>yarn.resourcemanager.resource-tracker.address</name>
  11. <value>HadoopMaster:8025</value>
  12. </property>
  13. <property>
  14. <name>yarn.resourcemanager.scheduler.address</name>
  15. <value>HadoopMaster:8035</value>
  16. </property>
  17. <property>
  18. <name>yarn.resourcemanager.address</name>
  19. <value>HadoopMaster:8050</value>
  20. </property>
jm2pwxwz

jm2pwxwz1#

好吧,在hadoop集群中更改主机名是一项非常困难和危险的工作。考虑从头开始的新安装,您已经意识到了;)
强烈建议使用fqdn而不是短主机名。这正是进行这种改变的好时机。
总的来说,您必须检查/更改所有配置文件,但是如果您想拥有一个功能性的ambari控制台,您还必须更新ambari db元数据。
以下是一般程序:
停止群集。
导出ambari的mysql数据库。
更新mysql导出表ambari.hosts、ambari.hoststate、ambari.clusterhostmapping、ambari.host\u role\u命令和ambari.hostcomponentdesiredstate中的主机名(host\u name)
更新hive.dbs以获得正确的db\u位置\u uri,更新hive.sds以获得新主机名。
重新导入数据库。
授予数据库对mysql支持的配置单元/元存储的新主机名的访问权限
编辑ambari代理ini文件和更新主机名的配置文件。
检查/更改所有配置文件,如hdfs站点、yarn站点、mapred站点等,以及不太明显的文件,如ambari代理、zookeeper等。。。
启动然后停止群集以写入所有配置并检查元数据。
交叉你的手指,做最后的开始。

up9lanfz

up9lanfz2#

首先:使用hadoop时禁用ipv6。
你没有发布你的yarn配置,所以我最好的猜测是你已经将yarn.resourcemanager.设置为“localhost”

相关问题