我的理解是:数据局部性的概念只适用于mapper,因为它只处理输入文件。减缩器在处理时也会使用数据局部性概念吗?数据位置:数据局部性指的是通过将计算引入到数据中来处理数据所在的位置,而不是从其位置请求数据。在计算数据时,Map器和还原器会工作。Map绘制者在计算数据时使用数据局部性。还原器将输入作为Map器输出。假设Map器输出存储在不同数据节点中的(中间数据)。减缩器在计算时是否使用数据局部性?
j13ufse21#
不,数据局部性概念仅适用于Map器。减速机是根据逻辑分配的(在Map输出的唯一键上)
1条答案
按热度按时间j13ufse21#
不,数据局部性概念仅适用于Map器。
减速机是根据逻辑分配的(在Map输出的唯一键上)