whirr用于超过10个节点的大型集群

cl25kdpy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(325)

每当我尝试使用whirr-0.8.2启动大于10个节点的集群时,集群都无法初始化。这是0.8.2的问题吗。在吉拉,它已经被提出,并在最新的 Backbone.js 解决。

qmelpv7a

qmelpv7a1#

最后我终于解决了这个问题。我从后备箱构建了whirr(版本0.9.0)。然后添加以下参数来增加超时时间。

jclouds.compute.timeout.node-terminated=2200000
jclouds.compute.timeout.node-running=2600000
jclouds.compute.timeout.script-complete=22000000
jclouds.compute.timeout.port-open=2200000 jclouds.ssh.retry-auth=true
jclouds.compute.poll-status.initial-period=20000
jclouds.compute.poll-status.max-period=20000

除此之外,还增加了:

whirr.instance-templates-max-percent-failures=100
hadoop-namenode+yarn-resourcemanager+mapreduce-historyserver,80
hadoop-datanode+hadoop-tasktracker
whirr.terminate-all-on-launch-failure=true

现在whir能够启动大型集群。

相关问题