我应该编写应用程序Hadoop2.6.0吗?

bxfogqkk  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(621)

我想使用hadoop2.6.0,默认情况下是在yarn模式下。所以我应该这样写Yarn应用程序:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/writingyarnapplications.html
或者我只是像往常一样写一些mapreduce应用程序?这种Yarn的用途是什么?
我听了你的建议,谢谢大家。。。。。

o7jaxewo

o7jaxewo1#

将yarn看作是数据操作系统,mapreduce则是运行在yarn之上的应用程序。
因此,即使在yarn模式下,现有的mapreduce代码也应该不做任何修改就可以工作。
您发布的代码示例展示了如何在yarn之上开发自己的应用程序,yarn隐藏了资源分配、多租户、分布式编程、故障转移等抽象概念。例如,mapreduce框架本身被重新编写为yarn应用程序,以便它可以在yarn之上运行。这允许yarn在同一集群上同时运行多个应用程序(mapreduce、spark、tez、storm等)。

相关问题