如果在内存不足的情况下运行,spark会比hadoop mapreduce性能更好吗?

b09cbbtk  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(280)

理解mapreduce和spark,主要的区别在于spark需要更少的i/o,因为它保持了“窄”的血统,即在一个worker上获取输入,每个worker有多个分区,处理它并在沿袭中移动,而不是执行Map的一个作业,然后在磁盘上刷新,然后执行另一个相应的作业。简而言之,spark是hdfs->read->map,hadoopmapreduce是hdfs->read->map->hdfs。
可以理解的是,mapreduce比spark早5年多,而且不可能有一个利用系统内存的设计。
我想了解在低内存上运行spark是否与运行mapreduce相同?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题