我有个问题我的问题是我有一个作业（获取爬虫）将mapred.map.tasks配置为10，这意味着我的作业将一次创建10个Map器。但是我的集群将mapred.tasktracker.map.tasks.maximum配置为12然后所有的Map器每次都会在一台机器上创建如何将所有Map器分发到所有计算机！非常感谢这有点像mapper.per.node所做的，但是我听到有人说配置被删除了。1何时删除mapper.per.node？2我现在怎么办？？
vc6uscn91#
理想情况下，应该将mapred.tasktracker.map.tasks.maximum值设置为tasktracker节点上存在的核心数。因此，假设每个节点上有4个核心，并且作业生成10个Map任务，那么tasktracker上可以运行的最大Map任务数将是4。
1条答案
按热度按时间vc6uscn91#
理想情况下，应该将mapred.tasktracker.map.tasks.maximum值设置为tasktracker节点上存在的核心数。因此，假设每个节点上有4个核心，并且作业生成10个Map任务，那么tasktracker上可以运行的最大Map任务数将是4。