假设我要为mr job设置以下配置:
mapred.map.tasks
mapred.reduce.tasks
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
mapred.reduce.slowstart.completed.maps
有什么可能的方法让我做这个?
我可以在mapred-site.xml中设置。但这将适用于我从事的所有工作。
如果我想专门为个人工作设置这些,这是否有效:
conf.set("mapred.tasktracker.map.tasks.maximum", 10)
(我在任何地方都没见过这种东西)
或者只通过命令行参数
例如 -D mapred.tasktracker.map.tasks.maximum=10
(这似乎是更常见的用法)
2条答案
按热度按时间x6h2sr281#
这两种方法都是有效的,您可以在开始作业之前以任何方式编辑配置。
yws3nbqq2#
解决方案1:创建basejob类:
}
然后编写mytransformationjob类并设置配置
通过这种方式,可以使用不同的配置和类指定多个作业。
解决方案2:
您可以创建本地配置并指定您提到的值
样品测试等级: