[hadoop新手问题]
我目前有一个hadoop2.7.2的单节点实现。计算机磁盘空间不足: df -h
给予
Filesystem Size Used Avail Use% Mounted on
/dev/vdb 50G 39G 12G 78% /app
一旦使用率上升到80%,集群就会挂起。因此,我应该增加更多的磁盘到机器上。
增加磁盘空间的最佳方法是什么?
方法a:
添加新磁盘( /dev/vdc
)
将其装入任何文件夹(例如。 /hadoop_data
)
更新 hdfs-site.xml
添加 dfs.datanode.data.dir
指向装入点的节点
方法a的缺点:
不会阻止第一个配置的文件夹变满
有点“混乱”,因为所有的数据都分散在几个挂载点上
方法b:
停止hadoop
添加新磁盘( /dev/vdc
)
将此新磁盘装载为 /app_new
rsync之间 /edx
以及 /app_new
在两个磁盘之间交换装载点
启动hadoop
方法b的缺点:
如果hadoop保留对磁盘id的任何引用,这可能就行不通了
“最干净”的选择是什么?有第三条路吗?
1条答案
按热度按时间btqmn9zl1#
遵循方法a。
只需添加更多步骤:
在datanodes目录中提及目录名,以便集群知道您添加了一个新的datanodes目录。
现在,只需运行hdfs balancer命令,数据就会被平等地转移到两个datanodes,错误就会消失。