有没有人让samza和ha的资源管理器一起工作?如果是,我该怎么办 yarn.resourcemanager.hostname 加入 yarn-site.xml ?如果我将其设置为我的第一个rm,那么如果我从该rm提交作业并且rm是活动的,则作业提交工作正常。如果运行作业提交的rm计算机未处于活动状态,则在端口8032上出现连接被拒绝错误。
yarn.resourcemanager.hostname
yarn-site.xml
rhfm7lfc1#
是的,我们让samza在ha模式下运行rm。基本上确保yarn-site.xml具有下面定义的属性。这将确保作业提交在第一个rm失败时尝试连接到另一个rm。
<property> <name>yarn.resourcemanager.hostname</name> <value>yarn_resource_manager_hostname</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn_cluster_id</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>yarn_resource_manager_hostname</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>yarn_resource_manager2_hostname</value> </property> <property> <name>yarn.resourcemanager.address.rm1</name> <value>yarn_resource_manager_hostname:8032</value> </property> <property> <name>yarn.resourcemanager.address.rm2</name> <value>yarn_resource_manager2_hostname:8032</value> </property>
1条答案
按热度按时间rhfm7lfc1#
是的,我们让samza在ha模式下运行rm。基本上确保yarn-site.xml具有下面定义的属性。这将确保作业提交在第一个rm失败时尝试连接到另一个rm。