samza在ha中与resourcemanager一起工作吗?

ljsrvy3e  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(292)

有没有人让samza和ha的资源管理器一起工作?如果是,我该怎么办 yarn.resourcemanager.hostname 加入 yarn-site.xml ?
如果我将其设置为我的第一个rm,那么如果我从该rm提交作业并且rm是活动的,则作业提交工作正常。如果运行作业提交的rm计算机未处于活动状态,则在端口8032上出现连接被拒绝错误。

rhfm7lfc

rhfm7lfc1#

是的,我们让samza在ha模式下运行rm。基本上确保yarn-site.xml具有下面定义的属性。这将确保作业提交在第一个rm失败时尝试连接到另一个rm。

<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>

相关问题