为什么hadoop不使用其他硬盘?

zlhcx6iw  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(308)

这是我第一次玩hadoop集群,所以我对这方面非常陌生。
我有一个由3个节点组成的小型集群,每台计算机上有5 x 2 tb的硬盘驱动器。他们都在运行ubuntu,拥有相同的硬件规格,并且使用apachehadoop1.0.4。硬盘在每台计算机上安装为/media/diskb、/media/diskc、/media/diskd等,并配置为jbod。
这三台计算机都充当数据节点和任务跟踪器,其中一台是主名称节点和次名称节点,第二台是作业跟踪器,第三台是纯从(dt/tt)节点。
在每台计算机的hdfs-site.xml文件中,我列出了挂载点,逗号分隔,没有空格作为值。

<property>
 <name>dfs.datanode.data.dir</name>
 <value>/data/dfs/data,/media/diskb/data/dfs/data,/media/diskc/data/dfs/data,..</value>
</property>

对于名称节点:

<property>
 <name>dfs.namenode.name.dir</name>
 <value>/data/dfs/name,/media/diskb/data/dfs/name,/media/diskc/data/dfs/name,..</value>
</property>

在mapred-site.xml中:

<property>
 <name>mapred.local.dir</name>
 <value>/data/mapred/local,/media/diskb/data/mapred/local,/media/diskc/data/mapred/local,...</value>
</property>

另外,在core-site.xml中

<property>
 <name>hadoop.tmp.dir</name>
 <value>/media/diskb/data</value>
</property>

(我已经尝试过一次将temp目录分配给一个磁盘来检查权限等,hadoop可以正常工作)
hadoop用户帐户的装载权限和目录所有权已满。当我运行map/reduce程序时,我可以看到hadoop在每个节点的mapred/local目录下的额外磁盘中创建资源文件夹,但是对于数据节点目录和管理页面上报告的配置容量,我看不到同样的情况(namenode:50070)为:5.36 tb(每个节点1.78 tb)。
为什么hadoop没有使用每一个总容量为26.7tb的硬盘?
另外,我没有看到在运行map/reduce作业时使用所有磁盘而不是在每个节点上只使用一个磁盘的性能提高。我应该期待什么?
谢谢您!

ih99xse1

ih99xse11#

好的,非常简单的答案:dfs.namenode.name.dir应该是dfs.name.dir,dfs.datanode.data.dir应该是dfs.data.dir
我以为它们(dfs.name.dir,dfs.data.dir)已经被弃用了,但显然没有。所以hadoop按照我在core-site.xml中设置的默认值运行,因此只使用了3个驱动器。

相关问题