hadoop map reduces中调试失败的无序排列

bksxznpy  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(412)

我看到随着输入文件大小的增加,失败的无序排列增加,作业完成时间非线性增加。
如。

75GB took 1h
86GB took 5h

我还看到平均洗牌时间增加了10倍
如。

75GB 4min
85GB 41min

有人能告诉我调试这个的方向吗?

zz2j4svz

zz2j4svz1#

只要您确定自己的算法是正确的,自动硬盘卷分区或碎片问题可能会发生在75gb阈值之后的某个地方,因为您可能正在使用相同的文件系统来缓存结果。

相关问题