我是Hadoop2.5.1的新手。由于我之前已经安装了hadoop1.0.4,所以我认为安装过程是一样的,所以请遵循下面的教程。
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
一切都很好,即使我在core-site.xml中给出了这些设置
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
但我在几个网站看到这个值是9000。
以及yarn.xml中的更改。
当我运行mapreduce作业时,一切仍然正常。但我的问题是
当我运行命令jps时,它会给我这个输出。。
hduser@secondmaster:~$ jps
5178 ResourceManager
5038 SecondaryNameNode
4863 DataNode
5301 NodeManager
4719 NameNode
6683 Jps
我没有看到任务跟踪器和工作跟踪器在日本。这些恶魔跑哪去了。没有这些执事我怎么能运行mapreduce的工作。
谢谢,
sreelatha k。
3条答案
按热度按时间gjmwrych1#
从hadoop版本hadoop2.0开始,默认处理框架已经从经典的mapreduce更改为yarn。你使用的是Yarn,你看不到工作追踪者,Yarn中的任务者。在yarn中,jobtracker和tasktracker分别被资源管理器和节点管理器替代。
但是您仍然可以选择使用经典的mapreduce框架而不是yarn。
atmip9wb2#
yarn是下一代的资源管理器,它能够与apachespark、storm以及其他许多可以用来编写map reduce作业的工具集成
vvppvyoh3#
在hadoop2中,有一种运行mapreduce作业的替代方法,称为yarn。因为您在yarn.xml中做了更改,所以mapreduce处理是使用yarn进行的,而不是使用传统的mapreduce框架。这可能就是为什么在执行jps命令后没有看到tasktracker和jobtracker列出的原因。请注意,resourcemanager和nodemanager是yarn的守护进程。