hadoop—有没有办法限制应用程序主机在特定节点上启动?

nuypyhwy  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(342)

我有一个集群设置,其中的节点不可靠,可能会宕机(它们是aws spot示例)。我试图确保我的应用程序主机只在集群的可靠节点(aws on demand示例)上启动。是否有解决方法?我的集群由hortonworks ambari管理。

yh2wf1be

yh2wf1be1#

这可以通过使用节点标签来实现。我可以使用spark spark.yarn.am.nodelabelexpression中的属性在yarn上运行spark时将我的应用程序主机限制为一组节点。将节点标签添加到要用于应用程序主节点的节点。

相关问题