在哪里可以找到用于操作的apachespark度量?

epfja78i  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(156)

我正在写一篇论文,比较apachespark和apachehadoop的mapreduce算法。
为了支持我的结论,我使用aws emr~10节点和hashtagtrending作为算法。
在hadoopmapreduce中,我可以得到map、reduce和shuffle任务的平均任务时间。
在spark中,我使用了三种操作flatmap、filter(map)和reducebykey(reduce)
收集hadoopmapreduce中相同度量的最佳方法是什么(总Map时间、总缩减时间、总无序排列和排序时间)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题