在ubuntu 14.04(3主3从设置)上将apache mesos升级到0.27后,我在尝试使用spark 1.6(客户端模式,不使用docker映像)连接群集时遇到以下错误:
I0219 12:40:47.684662 11484 fetcher.cpp:379] Fetching URI
'hdfs://auto-ha/spark/spark.tgz'
I0219 12:40:47.684691 11484 fetcher.cpp:250] Fetching directly into the sandbox directory
I0219 12:40:47.684720 11484 fetcher.cpp:187] Fetching URI
'hdfs://auto-ha/spark/spark.tgz'
I0219 12:40:48.139446 11484 fetcher.cpp:109] Downloading resource
with Hadoop client from 'hdfs://auto-ha/spark/spark.tgz' to '/tmp/mesos/slaves/a7907b94-6dc9-437c-b027-b71379a9e0e1- S3/frameworks/a7907b94-6dc9-437c-b027-b71379a9e0e1- 0006/executors/5/runs/48753051-450a-4043-908d-58f277633cf4/spark.tgz'
F0219 12:40:48.140929 11484 process.cpp:892] Failed to initialize: Failed to bind on 172.16.8.166:5051: Address already in use: Address already in use [98]
***Check failure stack trace:***
@ 0x7ff38fe76a3d google::LogMessage::Fail()
@ 0x7ff38fe7887d google::LogMessage::SendToLog()
@ 0x7ff38fe7662c google::LogMessage::Flush()
@ 0x7ff38fe76839 google::LogMessage::~LogMessage()
@ 0x7ff38fe777a2 google::ErrnoLogMessage::~ErrnoLogMessage()
@ 0x7ff38fe1d149 process::initialize()
@ 0x7ff38fe1e7d2 process::ProcessBase::ProcessBase()
@ 0x7ff38fe4d631 process::reap()
@ 0x7ff38fe56235 process::subprocess()
@ 0x7ff38f603059 HDFS::copyToLocal()
@ 0x40eecd download()
@ 0x40b8ea main
@ 0x7ff38de81ec5 (unknown)
@ 0x40d2c3 (unknown)
Aborted (core dumped)
End fetcher log for container 48753051-450a-4043-908d-58f277633cf4
似乎是mesos fetcher上的端口冲突,但是使用:
sudo lsof -i | grep 5051
端口上似乎没有监听到任何内容。
mesos 0.26在相同的设置下运行良好。
hdfs文件系统工作正常,docker集装箱船工作正常。我还检查了fetcher端口配置,但什么都没有。
有什么提示吗?
谢谢!
2条答案
按热度按时间ws51t4hk1#
港口
5051
由使用mesos-slave
与…沟通mesos-master
. 要检查端口使用情况,请使用:或(无端口名称翻译-端口
5051
被称为enbd-cstatd
)mesos slave通常使用更大范围的端口
31000-32000
,使用mesosphere release,您可以轻松控制为mesos任务分配的端口范围:s3fp2yjn2#
在对集群的所有节点进行冷重启和升级(mesos包也升级了)之后,一切都正常运行。
升级到0.27后,sems将成为mesos的一个bug。
无论如何谢谢你!