mapreduce编程都是关于并行处理的，那么为什么在很多情况下我们从单个reducer开始呢。在mapreduce中使用更多的reducer有哪些优点和缺点？
tez616oj1#
一个reducer可能在一个或多个分区上工作，因此它限制了并行化，因为它只有一个分区。太多的reducer会导致创建太多的小hdfs（输出）文件，这是不好的，并且会对hdfs造成压力，因为需要进行内务处理。
1条答案
按热度按时间tez616oj1#
一个reducer可能在一个或多个分区上工作，因此它限制了并行化，因为它只有一个分区。
太多的reducer会导致创建太多的小hdfs（输出）文件，这是不好的，并且会对hdfs造成压力，因为需要进行内务处理。