我想使用hadoop2.6.0,默认情况下是在yarn模式下。所以我应该这样写Yarn应用程序:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/writingyarnapplications.html或者我只是像往常一样写一些mapreduce应用程序?这种Yarn的用途是什么?我听了你的建议,谢谢大家。。。。。
o7jaxewo1#
将yarn看作是数据操作系统,mapreduce则是运行在yarn之上的应用程序。因此,即使在yarn模式下,现有的mapreduce代码也应该不做任何修改就可以工作。您发布的代码示例展示了如何在yarn之上开发自己的应用程序,yarn隐藏了资源分配、多租户、分布式编程、故障转移等抽象概念。例如,mapreduce框架本身被重新编写为yarn应用程序,以便它可以在yarn之上运行。这允许yarn在同一集群上同时运行多个应用程序(mapreduce、spark、tez、storm等)。
1条答案
按热度按时间o7jaxewo1#
将yarn看作是数据操作系统,mapreduce则是运行在yarn之上的应用程序。
因此,即使在yarn模式下,现有的mapreduce代码也应该不做任何修改就可以工作。
您发布的代码示例展示了如何在yarn之上开发自己的应用程序,yarn隐藏了资源分配、多租户、分布式编程、故障转移等抽象概念。例如,mapreduce框架本身被重新编写为yarn应用程序,以便它可以在yarn之上运行。这允许yarn在同一集群上同时运行多个应用程序(mapreduce、spark、tez、storm等)。