我正在从hadoop1.0迁移到集群。在1.0中运行adhoc作业时，我们根据job tracker中报告的可用性指定reducer的数量，以加快处理速度。现在在“所有应用程序”的网页链接中，我们没有看到任何关于可用性的专栏/信息。有任何配置文件或网页链接，我们可以得到这个信息？
ruyhziif1#
Yarn上再也没有缝了。相反，一切都取决于使用/需求的内存量。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任务。有关配置文件示例的详细信息，请参见：http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
1条答案
按热度按时间ruyhziif1#
Yarn上再也没有缝了。
相反，一切都取决于使用/需求的内存量。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任务。
有关配置文件示例的详细信息，请参见：http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml