hadoop2.2中死节点和活节点列表中的相同节点

1l5u6lss  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(353)

在hdfs网页上,似乎同样的节点出现在死节点列表和活节点列表中。如何摆脱这些“死”节点?
我刚刚将480个节点的集群上的apachehadoop从1.2.1版升级到2.2.0版。一切都很顺利。块的数量,旧版本和新版本中的文件是相同的。fsck报告没有问题。
我有480个活动节点。奇怪的是在hdfs管理页面上显示了23个死节点。不知何故,这23个死节点也可以在活动节点列表中找到。它们在两个列表中都有相同的名称和ip(活的和死的)。
由于 hadoop dfs admin -report 我得到:

Datanodes available: 480 (503 total, 23 dead)

这是报表中死节点的统计信息:

Configured Capacity: 0 (0 B)
DFS Used: 0 (0 B)
Non DFS Used: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used%: 100.00%
DFS Remaining%: 0.00%
Last contact: Thu Jan 01 01:00:00 CET 1970

我已经检查过了,只有一个datanode软件示例在这23个节点上运行。如果我从死列表中存在的活动列表中停止一个datanode,那么10分钟后该节点在死列表中出现两次。如果我再次启动datanode,该节点将出现在活动列表中,但死列表中仍存在一个示例。我检查了namenode日志,但没有发现任何错误。我也多次重启hadoop。每次同样的23个节点出现在死亡列表中。
我现在明白了问题是网络拓扑。我用过
./hdfs dfsadmin-打印拓扑
命令,并实现了23个死节点也与/default rack和/rack6相关联。我有12个机架用于480个节点。
但是我的网络拓扑解析器仍然工作得很好,所以我无法理解为什么节点也与默认机架相关联。

sg3maiej

sg3maiej1#

这是一只虫子
https://issues.apache.org/jira/browse/hdfs-6180
在hdfs-site.xml中查看“dfs.hosts”的配置文件

8fq7wneg

8fq7wneg2#

谢谢您。我们已经将集群升级到ApacheHadoop2.5,假死节点已经消失。

相关问题