当第一次调用reducer时

lh80um4z  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(457)

什么时候第一次叫减速机?
reducer一完成就开始从每个Map器复制中间键值对。程序员可以在作业中配置在减速机开始之前应该到达的中间数据的百分比。
reducer一完成就开始从每个Map器复制中间键值对。一旦中间键值对开始到达,就会调用reduce()方法。
哪种说法是正确的?

lrl1mhuk

lrl1mhuk1#

两种说法都是错误的:
一旦Map程序完成,reducer就开始从每个Map程序复制中间键值对—如果Map程序完成了5%(默认情况下,配置mapred.reduce.slowstart.completed.maps)。
reduce()方法在所有Map器完成并从Map器复制和排序(合并)所有数据时调用。

相关问题