Map器和Map任务之间有什么区别？类似地，一个reducer和一个reduce任务？另外，在执行mapreduce任务期间，如何确定mapper、maptasks、reducer和reducetask的数量？如果有的话，给出它们之间的相互关系。
t40tm48m1#
simply map task是mapper的一个示例。mapper和reducer是mapreduce作业中的方法。当我们运行mapreduce作业时，生成的Map任务数取决于输入中的块数（块数取决于输入拆分）。但是，可以在mapreduce驱动程序代码中指定reduce任务的数量。可以通过在作业配置对象中设置属性mapred.reduce.tasks来指定它，也可以 org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount); 方法。在旧的jobconf api中 setNumMapTasks() 方法就在那里。但是 setNumMapTasks() 方法在新api中被删除 org.apache.hadoop.mapreduce.Job 随着强度的增加，Map器的数量应该根据输入分裂来计算。
org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount);
setNumMapTasks()
org.apache.hadoop.mapreduce.Job
1条答案
按热度按时间t40tm48m1#
simply map task是mapper的一个示例。mapper和reducer是mapreduce作业中的方法。
当我们运行mapreduce作业时，生成的Map任务数取决于输入中的块数（块数取决于输入拆分）。但是，可以在mapreduce驱动程序代码中指定reduce任务的数量。可以通过在作业配置对象中设置属性mapred.reduce.tasks来指定它，也可以
org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount);方法。在旧的jobconf api中
setNumMapTasks()方法就在那里。但是setNumMapTasks()方法在新api中被删除org.apache.hadoop.mapreduce.Job随着强度的增加，Map器的数量应该根据输入分裂来计算。