我们的hadoop集群空间不足，设置方式如下：
1x 1tb硬盘驱动器<-ubuntu系统分区
3x 1.5tb hdd/data1/data2/data3<-hdfs数据卷
系统分区几乎没有使用（97%免费），也不会用于与hadoop无关的任务。
将系统分区作为hdfs data dir添加到datanode配置中是否安全？
我担心hadoop会填满分区，使系统无法使用。
最好的方法可能是设置单独的lvm卷或重新分区磁盘。但我会避免走这条路。
hadoop尊重unix配额吗？e、 例如，如果我从系统分区添加一个目录，并通过配额限制hadoop用户只使用例如0.5tb，会有帮助吗？
1条答案
按热度按时间yebdmbv41#
是的，hadoop使用通用的文件编写api来编写块数据，并尊重unix级别的配额。此外，还有config属性
dfs.datanode.du.reserved它允许您为每个卷（应用于所有卷）设置datanodes不会考虑写入的保留空间。但是，允许写入操作系统装载通常是不好的做法。如果您打算最终寻找更多的存储空间（考虑到您已经达到极限），那么最好多买几个磁盘并将它们装载到datanodes上。