hadoop数据节点经常死亡

zlwx9yxi  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(483)

我们的hadoop集群是由5个数据节点和2个名称节点组成的集群。实际上,流量非常高,一些节点经常出现故障。但是过了一会儿他们又回来了。有时需要很长时间,半个多小时才能活着回来。
很少有dns比其他dns有更多的线程。这是配置问题吗?数据不是写密集型的。乔布斯每20分钟跑一次。
在运行了两天的运行状况监视器(每隔半小时采样一次)之后,我们发现节点在每6小时运行一次的磁盘验证过程中死亡。所以现在节点可以预料到死亡。但是为什么它们在磁盘验证过程中会死亡呢?在磁盘验证过程中是否有任何方法来防止节点死亡??

1yjd4xko

1yjd4xko1#

clouedera的产能规划给出了这方面的见解。如果在重载情况下看到“bad connect ack with firstbadlink”、“bad connect ack”、“no route to host”或“COUND not GOUT block”io异常,则这些异常很可能是由于网络故障造成的。

相关问题