默认启用hadoop新api

mo49yndu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(252)

hadoop旧api现在已经被弃用了一段时间,关于新api的信息也不多(我不是在谈论yarn,而是关于http://hadoopbeforestarting.blogspot.com/2012/12/difference-between-hadoop-old-api-and.html). 我搜索了好几天怎么能默认启用它?到目前为止,我看到的唯一解决方案是设置配置 oozie workflow.xml 或设置 JobConf.setUseNewMapper(true) 以及 JobConf.setUseNewReducer(true) 在自己的mapreduce中。所以我的问题是:如何在默认情况下启用它,以便每个作业都使用它?我指的是Hive、hbase等产生的工作。我试着设置 mapred.mapper.new-api 以及 mapred.mapper.new-api 真实的 mapred-site.xml 但它不起作用。
此外,我发现不推荐的设置:http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-project-dist/hadoop-common/deprecatedproperties.html . 我认为新的属性只适用于新的api,因为在设置 mapreduce.tasktracker.map.tasks.maximum 以及 mapreduce.tasktracker.reduce.tasks.maximummapred-site.xml 除了默认值,我仍然得到默认值(2)。如果我设置了不推荐的属性- mapred.tasktracker.map.tasks.maximum 以及 mapred.tasktracker.reduce.tasks.maximum 它就像一个符咒。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题