如何将dfs数据移动到新磁盘

ifsvaxew  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(374)

[hadoop新手问题]
我目前有一个hadoop2.7.2的单节点实现。计算机磁盘空间不足: df -h 给予

Filesystem  Size   Used   Avail  Use%    Mounted on
/dev/vdb    50G    39G    12G    78%     /app

一旦使用率上升到80%,集群就会挂起。因此,我应该增加更多的磁盘到机器上。
增加磁盘空间的最佳方法是什么?
方法a:
添加新磁盘( /dev/vdc )
将其装入任何文件夹(例如。 /hadoop_data )
更新 hdfs-site.xml 添加 dfs.datanode.data.dir 指向装入点的节点
方法a的缺点:
不会阻止第一个配置的文件夹变满
有点“混乱”,因为所有的数据都分散在几个挂载点上
方法b:
停止hadoop
添加新磁盘( /dev/vdc )
将此新磁盘装载为 /app_new rsync之间 /edx 以及 /app_new 在两个磁盘之间交换装载点
启动hadoop
方法b的缺点:
如果hadoop保留对磁盘id的任何引用,这可能就行不通了
“最干净”的选择是什么?有第三条路吗?

btqmn9zl

btqmn9zl1#

遵循方法a。
只需添加更多步骤:
在datanodes目录中提及目录名,以便集群知道您添加了一个新的datanodes目录。
现在,只需运行hdfs balancer命令,数据就会被平等地转移到两个datanodes,错误就会消失。

相关问题