我在ubuntu16.04lts上安装了hadoop3.2.1,我的集群有18个datanode和1个master。运行后:
$ start-dfs.sh
$ start-yarn.sh
$ jps
在master上,我得到以下信息:
ResourceManager
NameNode
SecondaryNameNodecode
jps
在数据节点上:
DataNode
jps
所有节点似乎都是活动的:namenode概述网页
但是当我进入集群概述时,我的数据节点似乎都没有处于活动状态:集群概述
我的配置文件:
core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-3.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop-3.2.1/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop-3.2.1/data/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
namenode和datanode目录存在于每个主机上(master和datanodes)
mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services </name>
<value> mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
</configuration>
另外,我还为javau home path配置了hadoop-env.sh,所有其他变量都在.bashrc文件中(也在每个主机中)。
我修改了/etc/hosts文件,以包含所有主机及其IP和主机名,最后还修改了workers文件,以包含datanodes的所有IP。
我第一次格式化namenode时,hdfs-site.xml的目录是错误的(我有两次datanode目录),所以hdfs在/tmp/hdfs/(如果我没记错的话)下创建自己的目录。但是我用corect目录再次格式化namenode来解决这个问题。
暂无答案!
目前还没有任何答案,快来回答吧!