hadoop namenode-格式和hdfs-site.xml dfs.namenode.name.dir

ie3xauqp  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(407)

我的第一个问题,我会尽量不搞砸:)
为了学习,我正在4节点集群上安装hadoop2.9.0。我从namenode的安装/配置开始,遵循了apachehadoop2.9.0的官方文档和一些google页面。
我在$hadoop\u home/etc/hadoop目录下编辑了hdfs-site.xml,如下所示:

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///apps/hdfs/namenode/data</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///apps/hdfs/datanode/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///apps/hdfs/namesecondary/data</value>
  </property>

当我运行“hadoopnamenode-format”时,它将默认的$hadoop.tmp.dir格式化为/tmp/hadoophadoop/。。。
找到一些页面说要将hadoop\u conf\u dir设置到xml配置文件所在的位置(即:$hadoop\u home/etc/hadoop),但也有一些页面说相反的,没有设置它。
在我的情况下,它确实解决了我的问题,但不确定它是否是正确的修改?
如果有人能帮我理解这一点,那就太好了:)
非常感谢!

nom7f22z

nom7f22z1#

现在还不清楚你遇到了什么问题,但是有一个默认设置 HADOOP_CONF_DIR 这是在一个 hadoop-env.sh 在所有hadoop命令之前加载的文件。
我相信这很简单 /etc/hadoop . 至少,这是大多数集群存储配置的地方
因为文件在其他地方,所以需要将该值导出到其他地方,这很好。
我个人建议使用apacheambari,而不是手动管理和安装2个以上的节点。它将确保您的配置是匹配的,并额外监视服务

相关问题