为什么键在mapreduce函数中不是唯一的?

0g0grzrc  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(277)

当我研究hadoop中的mapreduce功能时,非常常见的示例是“wordcounting”,而且这张图片通常显示map操作和reduce的步骤:https://wikis.nyu.edu/download/attachments/74681720/wordcount%20mapreduce%20paradigm.png?version=1&modificationdate=1462902481180&api=v2

为什么Map节中的键不是唯一的?例如汽车。

nszi6y05

nszi6y051#

在mapper中-
钥匙 - 抵消 文本文件的。
价值 - 文本文件中的内容(请记住,有几种文件格式有自己的键值格式。文本文件(以文件偏移量为键,文件内容为值)
在一个单词计数的例子中,假设它是由splitter和mapper中的值(文件的内容)实际生成的键。在Map器中,键是文本文件的文件偏移量,对于每个Map器都是唯一的。组合器和减缩器处理Map器生成的键、值对,执行聚合操作,并在字数计算问题中将每个字视为唯一的。

相关问题