hadoop—recordreaders的概念

30byixjq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(368)

我们知道在mapper阶段之前,文件被分割,recordreader开始向mapper发出输入。我的问题是reducer是否使用recordreader类来读取Map器发出的数据?
因为减速机也需要输入!!请解释!!!

cqoc49vn

cqoc49vn1#

mapreduce步骤概述如下

  1. 1) InputFormat :
  2. - Validates the Input.
  3. - Splits the input files.
  4. - Gives Record Reader Implementation to give input to Mapper.
  5. 2)Mapper Phase
  6. 3)Shuffle and Sort Phase
  7. 4)Reducer Phase
  8. 5) OutputFormat
  9. - Validates the Output Specification.
  10. - Provides Record Writer Implementation used to write the output files.

reducer不使用记录读取器。。。

展开查看全部

相关问题