使用hadoop多节点设置(1个mater,1个salve)
在master上启动start-mapred.sh后,我在tt日志(slave an)中发现以下错误
org.apache.hadoop.mapred.tasktracker:获取系统目录失败
有人能帮我知道怎样才能避免这个错误吗
我使用的是hadoop 1.2.0 jetty-6.1.26 java版本“1.6.0\u 23”
mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
<property>
<name>mapred.map.tasks</name>
<value>1</value>
<description>
define mapred.map tasks to be number of slave hosts
</description>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>1</value>
<description>
define mapred.reduce tasks to be number of slave hosts
</description>
</property>
</configuration>
core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/workspace</value>
</property>
</configuration>
2条答案
按热度按时间bkhjykvo1#
如果是你的windows电脑,你正在使用cygwin运行hadoop。那么任务跟踪器将无法工作。
eivgtgni2#
似乎您刚刚添加了hadoop.tmp.dir并启动了该作业。在向配置文件添加任何属性之后,需要重新启动hadoop守护进程。您已在注解中指定在稍后阶段添加此属性。这意味着所有数据和元数据以及其他临时文件仍在/tmp目录中。将所有这些内容从那里复制到/home/hduser/workspace目录,重新启动hadoop并重新运行作业。
一定要告诉我结果。谢谢您。