我的第一个问题,我会尽量不搞砸:)
为了学习,我正在4节点集群上安装hadoop2.9.0。我从namenode的安装/配置开始,遵循了apachehadoop2.9.0的官方文档和一些google页面。
我在$hadoop\u home/etc/hadoop目录下编辑了hdfs-site.xml,如下所示:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///apps/hdfs/namenode/data</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///apps/hdfs/datanode/data</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///apps/hdfs/namesecondary/data</value>
</property>
当我运行“hadoopnamenode-format”时,它将默认的$hadoop.tmp.dir格式化为/tmp/hadoophadoop/。。。
找到一些页面说要将hadoop\u conf\u dir设置到xml配置文件所在的位置(即:$hadoop\u home/etc/hadoop),但也有一些页面说相反的,没有设置它。
在我的情况下,它确实解决了我的问题,但不确定它是否是正确的修改?
如果有人能帮我理解这一点,那就太好了:)
非常感谢!
1条答案
按热度按时间nom7f22z1#
现在还不清楚你遇到了什么问题,但是有一个默认设置
HADOOP_CONF_DIR
这是在一个hadoop-env.sh
在所有hadoop命令之前加载的文件。我相信这很简单
/etc/hadoop
. 至少,这是大多数集群存储配置的地方因为文件在其他地方,所以需要将该值导出到其他地方,这很好。
我个人建议使用apacheambari,而不是手动管理和安装2个以上的节点。它将确保您的配置是匹配的,并额外监视服务