如何在mapreduce中配置合并器的数量？
o2gm4chl1#
不能在hadoop中配置组合器的数量。系统将自动决定是否运行它们。根本不能保证他们会跑。您可以通过设置 min.num.spills.for.combine .根据hadoop的版本， min.num.spills.for.combine 已弃用，并已替换为 mapreduce.map.combine.minspills .
min.num.spills.for.combine
mapreduce.map.combine.minspills
1条答案
按热度按时间o2gm4chl1#
不能在hadoop中配置组合器的数量。系统将自动决定是否运行它们。根本不能保证他们会跑。
您可以通过设置
min.num.spills.for.combine.根据hadoop的版本，
min.num.spills.for.combine已弃用，并已替换为mapreduce.map.combine.minspills.