mesos-dispatcher.sh启动的java进程使用的随机端口存在防火墙问题

8dtrkrch  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(253)

spark版本:2.3.1
在spark-defaults.conf中,我为中提到的所有随机端口设置了值https://spark.apache.org/docs/2.3.1/configuration.html#networking 以及https://spark.apache.org/docs/2.3.1/security.html#configuring-网络安全端口
下面是启动集群调度程序的命令。

/opt/spark/sbin/start-mesos-dispatcher.sh -m mesos://zk://zkserver1:2181,zkserver2:2181,zkserver3:2181/mesos --port 7199 --verbose --properties-file /opt/spark/conf/spark-defaults.conf

如果没有防火墙,在7199监听的服务将成功启动。java进程将侦听7199、8081和一个随机端口。

tcp        0      0 0.0.0.0:35795           0.0.0.0:*               LISTEN      2460/java                    
tcp6       0      0 10.253.10.93:7199       :::*                    LISTEN      2460/java           
tcp6       0      0 :::8081                 :::*                    LISTEN      2460/java

启用防火墙/iptables后,在7199上侦听的服务将不会启动。
我无法识别用于该随机端口的Spark设置。我知道这是导致问题的端口,因为我们在iptables中打开了一系列端口,每当这个端口在这个范围内时,rest服务就可以启动。
这是一个测试环境。我们有几个mesos从服务器,但是我们有一台机器,它托管mesos集群调度器,还充当mesos主服务器和mesos从服务器。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题