使用hadoop fs-ls列出时出现未知主机错误/

ylamdve6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(335)

我是hadoop新手,正在尝试在Ubuntu14.04-server的多节点集群上安装hadoop。一切都很顺利,直到我尝试使用 hadoop fs -ls / 我一直有个错误:
ls:未知主机:hadoop主机。
起初我认为我在分配主机名时犯了一些错误,但与 /etc/hosts 以及 /etc./hostname . 主机名正确地列为hadoop主机。完全删除了主机名。只剩下ip地址。
这里的另一个帖子建议在 .bashrc :
export hadoop\u common\u lib\u native\u dir=$hadoop\u home/lib/native export hadoop\u opts=“-djava.library.path=$hadoop\u home/lib
我试过这么做,但还是犯了同样的错误。请查找以下相关步骤以及根据所要求的信息进行的编辑。
使用ifconfig检查主机的ip地址
添加到/etc/hosts并编辑/etc/hostname以添加主机名。
将相关细节添加到主控和从控。
.bashrc文件

export HADOOP_INSTALL=/usr/local/hadoop
export PIG_HOME=/usr/local/pig
export HIVE_HOME=/usr/local/Hive

export PATH=$PATH:$HADOOP_INSTALL/bin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

java pathexport java_home='/usr/lib/jvm/java-7-oracle'
core-site.xml文件

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:Hadoop-Master:9001</value>
</property>
</configuration>

hadoop-env.sh文件

export JAVA_HOME='/usr/lib/jvm/java-7-oracle'

编辑mapred-site.xml以包含主机名,并将值更改为“存在的节点数”。mapred-site.xml文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>2</value>
</property>
</configuration>

编辑hdfs-site.xml,将值更改为“存在的数据节点数”。​ hdfs-site.xml文件

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

哇,简单的学习
/etc/hosts localhost 127.0.0.1 hadoop主机192.168.207.132 hadoop从机192.168.207.140
/etc/hostname hadoop主机

gcxthw6b

gcxthw6b1#

要进行的更改:

  1. /etc/hosts文件:
    改变 Hadoop-MasterHadoopMaster 2. /etc/hostname文件:
    改变 Hadoop-MasterHadoopMaster 三。core-site.xml:
    改变这个
    hdfs:hadoop-master:9001
    为了这个
hdfs://HadoopMaster:9001

注意:在指向ip的所有节点中将hadoopmaster更改为hadoopmaster。同时更改从属文件和主文件。

相关问题