我们有hdp集群版本 2.6.5 与 8 数据节点，所有机器都安装在RHEL7.6版本上
hdp群集基于amabri平台版本- 2.6.1 每个数据节点（工作机）包括两个磁盘，每个磁盘大小为1.8t
当我们访问数据节点机器时，我们可以看到磁盘大小之间的差异
例如，在第一个数据节点上，大小为：（按 df -h )
/dev/sdb 1.8T 839G 996G 46% /grid/sdc
/dev/sda 1.8T 1014G 821G 56% /grid/sdb在第二个数据节点上，大小为：
/dev/sdb 1.8T 1.5T 390G 79% /grid/sdc
/dev/sda 1.8T 1.5T 400G 79% /grid/sdb在第三个数据节点上，大小为：
/dev/sdb 1.8T 1.7T 170G 91% /grid/sdc
/dev/sda 1.8T 1.7T 169G 91% /grid/sdb等等
最大的问题是为什么hdfs不在hdfs磁盘上执行重新平衡？
例如，在所有数据节点计算机上，所有磁盘上的预期结果应具有相同的大小
为什么使用的尺寸不同 datanode1 至 datanode2 至 datanode3 等？
关于hdfs中的调谐参数有什么建议可以帮助我们吗？
因为它在到达一个磁盘时非常关键 100% 大小和其他都比较小 50%
1条答案
按热度按时间z31licg01#
这是hdp2.6中hdfs重均衡器的已知行为，导致块分布不平衡的原因有很多。单击以检查所有可能的原因。
hdfs-1312引入了磁盘平衡选项来解决这个问题。
下面的文章将帮助您更有效地调整它ficiently:-
hdfs平衡器（1）：性能提高100倍
hdfs平衡器（2）：配置和cli选项
hdfs均衡器（3）：集群均衡算法
我建议升级到hdp3.x，因为cloudera支持不再支持hdp2.x。