hadoop2.2.0中hdfs的配置文件在哪里?

vaqhlq81  于 2021-06-03  发布在  Hadoop
关注(0)|答案(4)|浏览(984)

我正在学习hadoop,目前正在尝试建立一个hadoop2.2.0单节点。我下载了最新的发行版,解压缩了它,现在我正在尝试设置hadoop分布式文件系统(hdfs)。
现在,我正试图按照这里提供的hadoop指令操作,但是我完全迷路了。
在左侧栏中,您可以看到对以下文件的引用:
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml文件
但这些文件怎么样?
我找到了/etc/hadoop/hdfs-site.xml,但它是空的!
我找到了/share/doc/hadoop/hadoop project dist/hadoop common/core-default.xml,但它只是文档的一部分!
那么,我需要修改哪些文件来配置hdfs呢?从何处读取数据结果值?
事先谢谢你的帮助。

jgovgodb

jgovgodb1#

所有配置文件都将位于etc/hadoop/目录中的解压缩tar.gz文件中。hdfs-site.xml可以是hdfs-site.xml.template。您需要将其重命名为hdfs-site.xml。
如果您想查看hdfs的选项,请检查share/doc/hadoop/hadoop project dist/hadoop hdfs/hdfs-default.xml中tarball中的文档

vwhgwdsa

vwhgwdsa2#

hortonworks的位置是

/etc/hadoop/conf/hdfs-site.xml
zsbz8rwp

zsbz8rwp3#

这些文件可以在这里看到/usr/lib/hadoop-2.2.0/etc/hadoop,在那里你可以找到所有的xml。

khbbv19g

khbbv19g4#

这些文件都可以在hadoop/conf目录中找到。
要设置hdfs,必须配置core-site.xml和hdfs-site.xml。
hdfs有两种工作模式:分布式(多节点集群)和伪分布式(单机集群)。
对于伪分布式模式,您必须配置:
在core-site.xml中:

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>

在hdfs-site.xml中:

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

每个属性都有其硬编码的默认值。
在启动hdfs之前,请记住为hadoop用户设置ssh无密码登录。
附笔
如果您从apache下载hadoop,可以考虑切换到hadoop发行版:
cloudera的cdh、hortonworks或mapr。
如果您安装cloudera-cdh或hortonworks-hdp,您将在/etc/hadoop/conf/中找到这些文件。

相关问题