我使用sequencefileinputformat作为Map的输入,其中键是text,值是text。共有106个文件,每个文件的大小在500 mb到750 mb之间。我看到我的日志,上面说分裂的数目是290。我想知道是否有办法增加分裂的数量,因为我的工作需要很多时间来运行。谢谢你的帮助。
woobm2wo1#
通过减少每个拆分的最大大小,可以使用 mapreduce.input.fileinputformat.split.maxsize 财产。要设置的值是以字节为单位的最大拆分大小。
mapreduce.input.fileinputformat.split.maxsize
1条答案
按热度按时间woobm2wo1#
通过减少每个拆分的最大大小,可以使用
mapreduce.input.fileinputformat.split.maxsize
财产。要设置的值是以字节为单位的最大拆分大小。