当我查看主节点的webui时,它会显示连接到集群的所有当前worker。
https://spark.apache.org/docs/3.0.0-preview/web-ui.html
但我遇到的问题是,它在webui中用于工作节点的ip地址不正确。有没有一种方法可以更改在主web ui中使用的worker的web ui主机/ip?
通读文档,似乎有“spark\u worker\u webui\u port”为worker设置端口,但似乎没有“spark\u worker\u webui\u host”。
http://spark.apache.org/docs/latest/spark-standalone.html
为了提供更多的上下文,我目前有一个spark集群,它以独立模式部署。spark集群(主集群和从集群)都位于路由器(nat)后面。工人使用他们的内部ip地址绑定到主机。我设置端口转发,将外部通信路由到每个主服务器和从服务器。问题是,由于我的worker使用它们的内部ip地址绑定到主节点,所以它使用主节点的webui中的内部ip地址。这使得我的nat之外的所有人都无法访问worker节点的webui。如果有一种方法可以专门设置每个worker的webui使用的ip地址,那么这就可以解决这个问题。谢谢!
1条答案
按热度按时间mkh04yzy1#
经过更多的研究,我确定我要寻找的环境变量是:
SPARK_PUBLIC_DNS
http://spark.apache.org/docs/latest/spark-standalone.html这允许我为我的工作人员设置不同的外部主机名。