我是hadoop新手,正在尝试在Ubuntu14.04-server的多节点集群上安装hadoop。一切都很顺利,直到我尝试使用 hadoop fs -ls /
我一直有个错误:
ls:未知主机:hadoop主机。
起初我认为我在分配主机名时犯了一些错误,但与 /etc/hosts
以及 /etc./hostname
. 主机名正确地列为hadoop主机。完全删除了主机名。只剩下ip地址。
这里的另一个帖子建议在 .bashrc
:
export hadoop\u common\u lib\u native\u dir=$hadoop\u home/lib/native export hadoop\u opts=“-djava.library.path=$hadoop\u home/lib
我试过这么做,但还是犯了同样的错误。请查找以下相关步骤以及根据所要求的信息进行的编辑。
使用ifconfig检查主机的ip地址
添加到/etc/hosts并编辑/etc/hostname以添加主机名。
将相关细节添加到主控和从控。
.bashrc文件
export HADOOP_INSTALL=/usr/local/hadoop
export PIG_HOME=/usr/local/pig
export HIVE_HOME=/usr/local/Hive
export PATH=$PATH:$HADOOP_INSTALL/bin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
java pathexport java_home='/usr/lib/jvm/java-7-oracle'
core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:Hadoop-Master:9001</value>
</property>
</configuration>
hadoop-env.sh文件
export JAVA_HOME='/usr/lib/jvm/java-7-oracle'
编辑mapred-site.xml以包含主机名,并将值更改为“存在的节点数”。mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>2</value>
</property>
</configuration>
编辑hdfs-site.xml,将值更改为“存在的数据节点数”。 hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>
哇,简单的学习
/etc/hosts localhost 127.0.0.1 hadoop主机192.168.207.132 hadoop从机192.168.207.140
/etc/hostname hadoop主机
1条答案
按热度按时间gcxthw6b1#
要进行的更改:
改变
Hadoop-Master
至HadoopMaster
2. /etc/hostname文件:改变
Hadoop-Master
至HadoopMaster
三。core-site.xml:改变这个
hdfs:hadoop-master:9001
为了这个
注意:在指向ip的所有节点中将hadoopmaster更改为hadoopmaster。同时更改从属文件和主文件。