spark版本:2.3.1
在spark-defaults.conf中,我为中提到的所有随机端口设置了值https://spark.apache.org/docs/2.3.1/configuration.html#networking 以及https://spark.apache.org/docs/2.3.1/security.html#configuring-网络安全端口
下面是启动集群调度程序的命令。
/opt/spark/sbin/start-mesos-dispatcher.sh -m mesos://zk://zkserver1:2181,zkserver2:2181,zkserver3:2181/mesos --port 7199 --verbose --properties-file /opt/spark/conf/spark-defaults.conf
如果没有防火墙,在7199监听的服务将成功启动。java进程将侦听7199、8081和一个随机端口。
tcp 0 0 0.0.0.0:35795 0.0.0.0:* LISTEN 2460/java
tcp6 0 0 10.253.10.93:7199 :::* LISTEN 2460/java
tcp6 0 0 :::8081 :::* LISTEN 2460/java
启用防火墙/iptables后,在7199上侦听的服务将不会启动。
我无法识别用于该随机端口的Spark设置。我知道这是导致问题的端口,因为我们在iptables中打开了一系列端口,每当这个端口在这个范围内时,rest服务就可以启动。
这是一个测试环境。我们有几个mesos从服务器,但是我们有一台机器,它托管mesos集群调度器,还充当mesos主服务器和mesos从服务器。
暂无答案!
目前还没有任何答案,快来回答吧!