hadoop旧api现在已经被弃用了一段时间,关于新api的信息也不多(我不是在谈论yarn,而是关于http://hadoopbeforestarting.blogspot.com/2012/12/difference-between-hadoop-old-api-and.html). 我搜索了好几天怎么能默认启用它?到目前为止,我看到的唯一解决方案是设置配置 oozie workflow.xml
或设置 JobConf.setUseNewMapper(true)
以及 JobConf.setUseNewReducer(true)
在自己的mapreduce中。所以我的问题是:如何在默认情况下启用它,以便每个作业都使用它?我指的是Hive、hbase等产生的工作。我试着设置 mapred.mapper.new-api
以及 mapred.mapper.new-api
真实的 mapred-site.xml
但它不起作用。
此外,我发现不推荐的设置:http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-project-dist/hadoop-common/deprecatedproperties.html . 我认为新的属性只适用于新的api,因为在设置 mapreduce.tasktracker.map.tasks.maximum
以及 mapreduce.tasktracker.reduce.tasks.maximum
在 mapred-site.xml
除了默认值,我仍然得到默认值(2)。如果我设置了不推荐的属性- mapred.tasktracker.map.tasks.maximum
以及 mapred.tasktracker.reduce.tasks.maximum
它就像一个符咒。
暂无答案!
目前还没有任何答案,快来回答吧!