我最近在试用电子病历。默认情况下，emr ami 5.28.0似乎会标记节点（core，default），而yarn应用程序主机似乎在core label中运行。如何重新配置它，以便应用程序主节点可以在核心节点或任务节点上运行。注意：我在google上搜索并尝试了多种选项，比如在yarn-site.xml中将yarn.node-labels.enabled更新为false，但似乎都不起作用。
mwg9r5ms1#
从主节点运行此脚本
sudo sed -i.bak "/yarn.node-labels.enabled/d" /etc/hadoop/conf/yarn-site.xml sudo sed -i "/yarn.node-labels.am.default-node-label-expression/d" /etc/hadoop/conf/yarn-site.xml sudo stop hadoop-yarn-resourcemanager sudo start hadoop-yarn-resourcemanager
如果您计划与引导操作合并，请确保仅在主服务器上运行此操作。
stszievb2#
amazonemr版本5.19.0及更高版本使用内置的yarn节点标签功能，仅在核心节点上启动applicationmaster。由于spot示例通常用于运行任务节点，amazonemr具有调度yarn作业的默认功能，因此在spot示例上运行的任务节点终止时，运行的作业不会失败。我不建议在任何节点类型上启动am。相反，您可以考虑使用按需核心节点和spot for任务节点。从AmazonEMR6.x发布系列开始，Yarn节点标签功能在默认情况下被禁用。默认情况下，应用程序主进程可以在核心节点和任务节点上运行。通过配置以下属性，可以禁用“Yarn节点标签”功能：yarn.node-labels.enabled:假有关特定属性以及如何禁用该属性的信息，请参阅amazon emr settings以防止由于任务节点spot示例终止而导致作业失败。参考文献https://docs.aws.amazon.com/emr/latest/managementguide/emr-master-core-task-nodes.html
2条答案
按热度按时间mwg9r5ms1#
从主节点运行此脚本
如果您计划与引导操作合并，请确保仅在主服务器上运行此操作。
stszievb2#
amazonemr版本5.19.0及更高版本使用内置的yarn节点标签功能，仅在核心节点上启动applicationmaster。
由于spot示例通常用于运行任务节点，amazonemr具有调度yarn作业的默认功能，因此在spot示例上运行的任务节点终止时，运行的作业不会失败。
我不建议在任何节点类型上启动am。相反，您可以考虑使用按需核心节点和spot for任务节点。
从AmazonEMR6.x发布系列开始，Yarn节点标签功能在默认情况下被禁用。默认情况下，应用程序主进程可以在核心节点和任务节点上运行。通过配置以下属性，可以禁用“Yarn节点标签”功能：
yarn.node-labels.enabled:假
有关特定属性以及如何禁用该属性的信息，请参阅amazon emr settings以防止由于任务节点spot示例终止而导致作业失败。
参考文献
https://docs.aws.amazon.com/emr/latest/managementguide/emr-master-core-task-nodes.html