如何处理reducer中的数据倾斜?

vsmadaxz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(250)

我有一个简单的mapreduce工作,其中对于一些键,值的数量是数百万。因此减速机无法完成。我已经浏览了这个链接hadoop在reducer中处理数据倾斜,但是如果有任何适用于此类场景的最佳实践的话,我就无法理解了。有谁能建议在mapreduce job中处理这种情况的最佳方法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题