在独立模式下更改web ui主机

30byixjq  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(407)

当我查看主节点的webui时,它会显示连接到集群的所有当前worker。
https://spark.apache.org/docs/3.0.0-preview/web-ui.html
但我遇到的问题是,它在webui中用于工作节点的ip地址不正确。有没有一种方法可以更改在主web ui中使用的worker的web ui主机/ip?
通读文档,似乎有“spark\u worker\u webui\u port”为worker设置端口,但似乎没有“spark\u worker\u webui\u host”。
http://spark.apache.org/docs/latest/spark-standalone.html
为了提供更多的上下文,我目前有一个spark集群,它以独立模式部署。spark集群(主集群和从集群)都位于路由器(nat)后面。工人使用他们的内部ip地址绑定到主机。我设置端口转发,将外部通信路由到每个主服务器和从服务器。问题是,由于我的worker使用它们的内部ip地址绑定到主节点,所以它使用主节点的webui中的内部ip地址。这使得我的nat之外的所有人都无法访问worker节点的webui。如果有一种方法可以专门设置每个worker的webui使用的ip地址,那么这就可以解决这个问题。谢谢!

mkh04yzy

mkh04yzy1#

经过更多的研究,我确定我要寻找的环境变量是: SPARK_PUBLIC_DNS http://spark.apache.org/docs/latest/spark-standalone.html
这允许我为我的工作人员设置不同的外部主机名。

相关问题