可以在java程序的main函数中设置Map器和还原器的数量，该程序使用jobconf的 conf.setNumMapTasks(int num) 以及 conf.setNumRedTasks(int num) 分别是。 对于Map器，请注意api中的以下内容： "This is only a hint to the framework. The actual number of spawned map tasks depends on the number of InputSplits generated by the job's InputFormat.getSplits(JobConf, int). A custom InputFormat is typically used to accurately control the number of map tasks for the job." 显式设置输入块的数量有点困难。输入的拆分方式由 InputFormat 你使用和相应的 InputSplits 它使用的。如果您希望操纵输入拆分的方式，则必须自定义inputformat/inputsplits。
1条答案
按热度按时间bis0qfac1#
可以在java程序的main函数中设置Map器和还原器的数量，该程序使用jobconf的
conf.setNumMapTasks(int num)以及conf.setNumRedTasks(int num)分别是。对于Map器，请注意api中的以下内容：
"This is only a hint to the framework. The actual number of spawned map tasks depends on the number of InputSplits generated by the job's InputFormat.getSplits(JobConf, int). A custom InputFormat is typically used to accurately control the number of map tasks for the job."显式设置输入块的数量有点困难。输入的拆分方式由InputFormat你使用和相应的InputSplits它使用的。如果您希望操纵输入拆分的方式，则必须自定义inputformat/inputsplits。