理解mapreduce和spark,主要的区别在于spark需要更少的i/o,因为它保持了“窄”的血统,即在一个worker上获取输入,每个worker有多个分区,处理它并在沿袭中移动,而不是执行Map的一个作业,然后在磁盘上刷新,然后执行另一个相应的作业。简而言之,spark是hdfs->read->map,hadoopmapreduce是hdfs->read->map->hdfs。
可以理解的是,mapreduce比spark早5年多,而且不可能有一个利用系统内存的设计。
我想了解在低内存上运行spark是否与运行mapreduce相同?
暂无答案!
目前还没有任何答案,快来回答吧!