我应该在哪个文件中设置减速器的数量和 mapred.reduce.tasks 参数？我的电脑里只有以下文件 conf 文件夹，但没有一个具有此参数：
mapred.reduce.tasks
conf
ubuntu@group-3-vm1:~/conf$ ls capacity-scheduler.xml hdfs-site.xml mapred-site.xml yarn-site.xml core-site.xml hive-site.xml tez-site.xml
ergxz8rk1#
更新：您可以指定 mapred.reduce.tasks 导入mapred-site.xml。这将为hadoop安装程序上运行的所有作业设置配置。在我看来，这不是个好主意。理想情况下，减速机数量可根据工作需要设置。您可以使用下面提供的选项来执行此操作。数量 Reducer 在运行/启动hadoop作业时，可以通过命令行在中设置。
Reducer
hadoop jar <main_jar.jar> Main_class -D mapred.reduce.tasks=<number_of_reducers>
另一种方式是，在你的 Driver 班级进入 Job 配置。
Driver
Job
job.setNumReduceTasks(number_of_reducers);
不需要设置属性 (mapred.reduce.tasks) 在任何配置文件中。默认值为1。如果您使用的是hadoop2，那么最好使用 mapreduce.job.reduces 而不是 mapred.reduce.tasks .
(mapred.reduce.tasks)
mapreduce.job.reduces
csga3l582#
所有hadoop配置属性都分为以下组。hadoop-1.x.x版本：core-core-site.xmlhdfs-hdfs-site.xmlmapred-mapred-site.xmlhadoop-2.x.x版本core-core-site.xmlhdfs-hdfs-site.xmlmapreduce-mapred-site.xmlYarn-Yarn-site.xml所以你想改变reducer的数量，也就是mapred.reduce.tasks。必须将此参数保存在“mapred site.xml”文件中。
2条答案
按热度按时间ergxz8rk1#
更新：
您可以指定
mapred.reduce.tasks导入mapred-site.xml。这将为hadoop安装程序上运行的所有作业设置配置。在我看来，这不是个好主意。理想情况下，减速机数量可根据工作需要设置。您可以使用下面提供的选项来执行此操作。
数量
Reducer在运行/启动hadoop作业时，可以通过命令行在中设置。另一种方式是，在你的
Driver班级进入Job配置。不需要设置属性
(mapred.reduce.tasks)在任何配置文件中。默认值为1。如果您使用的是hadoop2，那么最好使用
mapreduce.job.reduces而不是mapred.reduce.tasks.csga3l582#
所有hadoop配置属性都分为以下组。
hadoop-1.x.x版本：
core-core-site.xml
hdfs-hdfs-site.xml
mapred-mapred-site.xml
hadoop-2.x.x版本
core-core-site.xml
hdfs-hdfs-site.xml
mapreduce-mapred-site.xml
Yarn-Yarn-site.xml
所以你想改变reducer的数量，也就是mapred.reduce.tasks。必须将此参数保存在“mapred site.xml”文件中。