hadoop 2.7.5冲突和错误

iezvtpos  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(533)

我已经建立了一个hadoop ha集群,包括namenode和resourcemanager的备用节点,这样在节点a和节点b中namenode和resourcemanager进程都将启动,一个节点角色将作为备用节点。当我关闭活动节点(a或b)时,另一个将是活动节点(测试)。如果我只是启动一个节点(a或b),namenode进程是可以的,但是resourcemanager进程没有响应!我查了一下日志如下:

2018-01-27 17:01:43,371 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: namenode/192.168.1.210:8020. Already tried 68 time(s); retry policy is RetryPolicy[MultipleLinearRandomRetry[500x2000ms], TryOnceThenFail]

节点 A/192.168.1.210 那不是开始的节点。它的存储在连接到节点a的循环上,而namenode进程在节点b上是活动的。我设置以下属性以减小(500*2000)(此处引用):

<property>
        <name>yarn.resourcemanager.fs.state-store.retry-policy-spec</name>
        <value>1000,10</value>
        <!-- <value>2000,10</value> also checked -->
        </property>

但是is对资源管理器的行为没有影响!这是虫子还是我错了!?

f87krz0w

f87krz0w1#

自从hadoop 2.8 财产 yarn.node-labels.fs-store.retry-policy-spec 是为了控制这种情况。添加以下属性解决了问题:

<property>
    <name>yarn.node-labels.fs-store.retry-policy-spec</name>
    <value>1000, 10</value>
    </property>

现在它尝试10次,睡眠1000毫秒,然后切换到另一个namenode

相关问题