我们安装了带有一个数据节点机器的小型hdp集群
hdp版本为 2.6.5
Ambari版本是 2.6.1
所以这是一个新的集群,它包含两个名称节点,只有一个数据节点(工作机)
我们看到的有趣的行为是 under replica
在ambari Jmeter 盘上,目前的数字是 15000
在副本块下
众所周知,这个问题的最根本原因是名称节点到数据节点之间的网络问题
但在我们的hadoop集群中不是这样的
我们还可以通过以下步骤减少欠复制
su - <$hdfs_user>
bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
-bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; done
但我们不想这样做,因为复制不足的问题不应该从一开始就发生
可能需要调整一些hdfs参数,但我们对此不确定
请告诉我们任何对我们有帮助的建议
1条答案
按热度按时间6qqygrtg1#
如果在安装群集之后发生了复制不足的块问题,请检查以下内容property:-
这决定了需要创建多少复制副本(如果有)
one datanode
那么这个应该设置为1
从指标页面上看,我觉得一切都很好,