hadoop单节点安装2.5.1后无法查看任务跟踪器和作业跟踪器

kyvafyod  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(566)

我是Hadoop2.5.1的新手。由于我之前已经安装了hadoop1.0.4,所以我认为安装过程是一样的,所以请遵循下面的教程。
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
一切都很好,即使我在core-site.xml中给出了这些设置

<name>fs.default.name</name>

  <value>hdfs://localhost:54310</value>

但我在几个网站看到这个值是9000。
以及yarn.xml中的更改。
当我运行mapreduce作业时,一切仍然正常。但我的问题是
当我运行命令jps时,它会给我这个输出。。

hduser@secondmaster:~$ jps

5178 ResourceManager

5038 SecondaryNameNode

4863 DataNode

5301 NodeManager

4719 NameNode

6683 Jps

我没有看到任务跟踪器和工作跟踪器在日本。这些恶魔跑哪去了。没有这些执事我怎么能运行mapreduce的工作。
谢谢,
sreelatha k。

gjmwrych

gjmwrych1#

从hadoop版本hadoop2.0开始,默认处理框架已经从经典的mapreduce更改为yarn。你使用的是Yarn,你看不到工作追踪者,Yarn中的任务者。在yarn中,jobtracker和tasktracker分别被资源管理器和节点管理器替代。
但是您仍然可以选择使用经典的mapreduce框架而不是yarn。

atmip9wb

atmip9wb2#

yarn是下一代的资源管理器,它能够与apachespark、storm以及其他许多可以用来编写map reduce作业的工具集成

vvppvyoh

vvppvyoh3#

在hadoop2中,有一种运行mapreduce作业的替代方法,称为yarn。因为您在yarn.xml中做了更改,所以mapreduce处理是使用yarn进行的,而不是使用传统的mapreduce框架。这可能就是为什么在执行jps命令后没有看到tasktracker和jobtracker列出的原因。请注意,resourcemanager和nodemanager是yarn的守护进程。

相关问题