如何在hadoop中更改Map器/还原器的数量？出于某种奇怪的原因，mapred-site.xml中不存在mapred.tasttracker.map.tasks.maximum和mapred.tasttracker.reduce.tasks.maximum。我确实设法在dse-mapred-default.xml中找到了这些设置，但是一旦打开了xml，就会出现一个注解，指出不应该在此文件中编辑这些设置，并且应该在mapred-site.xml中覆盖这些属性。
我已经尝试过将这两个设置添加到mapred-site.xml并重新启动hadoop，我希望这些数字也能在dse-mapred-default.xml中更新，但没有成功。
有人能解释一下吗？
谢谢，少校
1条答案
按热度按时间8fsztsew1#
不是的
mapred.tasttracker.map.tasks.maximum，但是mapred.tasktracker.map.tasks.maximum. 我希望这只是一个输入错误，你在配置中使用了正确的名称。在启动时，dse创建dse-mapred-default.xml和dse-core-default.xml文件，并用适合本地操作系统配置和硬件的默认值填充它们。这主要是为了hadoop的自动调整功能和简化hadoop的安全配置。然后hadoop按以下顺序加载配置文件：
hadoop内部默认值（可以在hadoop文档中找到的默认值）
dse-core-default.xml和dse-mapred-default.xml中的dse默认值
用户文件：core-site.xml和mapred-site.xml。
稍后加载的文件中的设置将覆盖先前加载的设置。配置的最终状态不会用默认值写回文件。不应期望将mapred-site.xml中的设置复制到dse-mapred-default.xml文件中。
如果您不确定最终的配置是什么以及设置是否正确，只需运行一个作业并查看hadoop日志目录，然后搜索与模式job\u \u x\u conf.xml匹配的文件，其中x是一个数字。您还可以在jobtracker http控制台中查看最终配置。