我指的是map-reduce的博客，它强调把中间结果写到磁盘上。这里我的问题是为什么map-reduce把中间结果写到磁盘上，不能只使用内存（RAM）吗？是不是有什么问题需要这种方法？非常感谢你的回答
sr4lhrrt1#
由于Hadoop MapReduce旨在用于在商用硬件上并行处理数TB的数据集[1]，因此将中间结果存储在RAM中通常是不可行的，因为大多数商用硬件几乎没有足够的RAM可用于此目的。因此，必须使用磁盘存储来存储中间结果以供进一步处理。
1条答案
按热度按时间sr4lhrrt1#
由于Hadoop MapReduce旨在用于在商用硬件上并行处理数TB的数据集[1]，因此将中间结果存储在RAM中通常是不可行的，因为大多数商用硬件几乎没有足够的RAM可用于此目的。因此，必须使用磁盘存储来存储中间结果以供进一步处理。