hadoop3.1.1只显示一个活动数据节点

x4shl7ld  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(649)

我在3台虚拟机上安装了hadoop3.1.1,在ubuntu上安装了vmware。当我运行hdfs namenode-format和start-all.sh时,jps在我的主节点和两个从节点上正常工作。
但是,使用hdfs dfsadmin-report命令,我只能看到一个活动数据节点(当我检查时得到相同的结果)master:50070 or 8088).
我试图禁用防火墙如下:ufw disable,但它没有解决问题。这三台机器可以通过ping和ssh相互连接(无passwd)。我还删除了hadoop tmp文件夹,其中包含datanode和namenode文件夹,但效果不好。日志文件中也没有显示任何问题。
你有没有解决办法让三个活动数据节点而不是一个?谢谢。
以下是我的配置文件:
yarn-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>yarn.resourcemanager.hostname</name>
  4. <value>master</value>
  5. </property>
  6. <property>
  7. <name>yarn.resourcemanager.resource-tracker.address</name>
  8. <value>master:8025</value>
  9. </property>
  10. <property>
  11. <name>yarn.resourcemanager.scheduler.address</name>
  12. <value>master:8035</value>
  13. </property>
  14. <property>
  15. <name>yarn.resourcemanager.address</name>
  16. <value>master:8050</value>
  17. </property>
  18. </configuration>

hdfs-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>dfs.datanode.data.dir</name>
  4. <value>/usr/local/hadoop_tmp/hdfs/datanode</value>
  5. <final>true</final>
  6. </property>
  7. <property>
  8. <name>dfs.namenode.name.dir</name>
  9. <value>/usr/local/hadoop_tmp/hdfs/namenode</value>
  10. <final>true</final>
  11. </property>
  12. <property>
  13. <name>dfs.namenode.http-address</name>
  14. <value>master:50070</value>
  15. </property>
  16. <property>
  17. <name>dfs.replication</name>
  18. <value>3</value>
  19. </property>
  20. </configuration>

core-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://master:9000/</value>
  5. </property>
  6. <property>
  7. <name>fs.default.FS</name>
  8. <value>hdfs://master:9000/</value>
  9. </property>
  10. </configuration>

工人

  1. master
  2. slave1
  3. slave2
qacovj5a

qacovj5a1#

我找到了解决办法。问题是防火墙。但“ufw”没用。我需要执行这些命令:

  1. sudo iptables -L -v
  2. sudo iptables -F
  3. sudo iptables -X
  4. sudo iptables -t nat -F
  5. sudo iptables -t nat -X
  6. sudo iptables -t mangle -F
  7. sudo iptables -t mangle -X
  8. sudo iptables -P INPUT ACCEPT
  9. sudo iptables -P FORWARD ACCEPT
  10. sudo iptables -P OUTPUT ACCEPT

相关问题