没有YarnMap可以减少工作量吗？

njthzxwz 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(406)

我正在研究Centos6.5和Hadoop2.7.2上的HadoopMapReduce。我了解到hdfs只是分布式文件系统，yarn管理map reduce工作，所以我认为如果我不打开yarn（资源管理器、节点管理器），map reduce就不工作了。
因此，我认为，wordcount不应该做map reduce过程，在系统中只工作hdfs不工作。
（关于伪分布模式）
但是当我打开hdfs而不是像你在下面看到的那样，执行wordcount示例时，它会显示“map reduce framework”。什么意思？有没有可能只有hdfs工艺图减少而没有Yarn？因为Yarn管理着资源和工作，没有Yarn，map REDUCT就不能工作，对吗？

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

hadoop mapreduce

来源：https://stackoverflow.com/questions/35791106/without-yarn-map-reduce-work

1条答案

按热度按时间

vlf7wbxs1#

在hadoop2.0中，yarn负责资源管理，这是事实。但是即使没有Yarn，map reduce应用程序也可以使用旧的风格运行。
mapred-site.xml有一个配置-mapreduce.framework.name

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>local</value>
    </property>
</configuration>

以上配置可选择是否使用Yarn。此属性的可能值为-local、classic或yarn
默认值为“local”。如果你想用Yarn，就把这个设为Yarn

赞(0）回复(0）举报 2021-06-02

我来回答

没有YarnMap可以减少工作量吗？

1条答案

相关问题

热门标签

最新问答