增加sequencefileinputformat的拆分数

djmepvbi  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(369)

我使用sequencefileinputformat作为Map的输入,其中键是text,值是text。共有106个文件,每个文件的大小在500 mb到750 mb之间。我看到我的日志,上面说分裂的数目是290。
我想知道是否有办法增加分裂的数量,因为我的工作需要很多时间来运行。谢谢你的帮助。

woobm2wo

woobm2wo1#

通过减少每个拆分的最大大小,可以使用 mapreduce.input.fileinputformat.split.maxsize 财产。要设置的值是以字节为单位的最大拆分大小。

相关问题