hadoop—数据局部性概念是否也适用于缩减器?

lnlaulya  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(385)

我的理解是:
数据局部性的概念只适用于mapper,因为它只处理输入文件。
减缩器在处理时也会使用数据局部性概念吗?
数据位置:
数据局部性指的是通过将计算引入到数据中来处理数据所在的位置,而不是从其位置请求数据。
在计算数据时,Map器和还原器会工作。
Map绘制者在计算数据时使用数据局部性。
还原器将输入作为Map器输出。
假设Map器输出存储在不同数据节点中的(中间数据)。
减缩器在计算时是否使用数据局部性?

j13ufse2

j13ufse21#

不,数据局部性概念仅适用于Map器。
减速机是根据逻辑分配的(在Map输出的唯一键上)

相关问题