apache mesos 0.27获取程序错误:地址已在使用中:

v1uwarro  于 2021-06-26  发布在  Mesos
关注(0)|答案(2)|浏览(457)

在ubuntu 14.04(3主3从设置)上将apache mesos升级到0.27后,我在尝试使用spark 1.6(客户端模式,不使用docker映像)连接群集时遇到以下错误:

I0219 12:40:47.684662 11484 fetcher.cpp:379] Fetching URI   
 'hdfs://auto-ha/spark/spark.tgz'
 I0219 12:40:47.684691 11484 fetcher.cpp:250] Fetching directly into the sandbox directory
 I0219 12:40:47.684720 11484 fetcher.cpp:187] Fetching URI     
 'hdfs://auto-ha/spark/spark.tgz'
 I0219 12:40:48.139446 11484 fetcher.cpp:109] Downloading resource     
 with Hadoop client from 'hdfs://auto-ha/spark/spark.tgz' to     '/tmp/mesos/slaves/a7907b94-6dc9-437c-b027-b71379a9e0e1-  S3/frameworks/a7907b94-6dc9-437c-b027-b71379a9e0e1- 0006/executors/5/runs/48753051-450a-4043-908d-58f277633cf4/spark.tgz'
 F0219 12:40:48.140929 11484 process.cpp:892] Failed to initialize: Failed   to bind on 172.16.8.166:5051: Address already in use: Address already in   use [98]

***Check failure stack trace:***

    @     0x7ff38fe76a3d  google::LogMessage::Fail()
@     0x7ff38fe7887d  google::LogMessage::SendToLog()
@     0x7ff38fe7662c  google::LogMessage::Flush()
@     0x7ff38fe76839  google::LogMessage::~LogMessage()
@     0x7ff38fe777a2  google::ErrnoLogMessage::~ErrnoLogMessage()
@     0x7ff38fe1d149  process::initialize()
@     0x7ff38fe1e7d2  process::ProcessBase::ProcessBase()
@     0x7ff38fe4d631  process::reap()
@     0x7ff38fe56235  process::subprocess()
@     0x7ff38f603059  HDFS::copyToLocal()
@           0x40eecd  download()
@           0x40b8ea  main
@     0x7ff38de81ec5  (unknown)
@           0x40d2c3  (unknown)
Aborted (core dumped)

End fetcher log for container 48753051-450a-4043-908d-58f277633cf4

似乎是mesos fetcher上的端口冲突,但是使用:

sudo lsof -i | grep 5051

端口上似乎没有监听到任何内容。
mesos 0.26在相同的设置下运行良好。
hdfs文件系统工作正常,docker集装箱船工作正常。我还检查了fetcher端口配置,但什么都没有。
有什么提示吗?
谢谢!

ws51t4hk

ws51t4hk1#

港口 5051 由使用 mesos-slave 与…沟通 mesos-master . 要检查端口使用情况,请使用:

netstat -tulpn | grep 5051

或(无端口名称翻译-端口 5051 被称为 enbd-cstatd )

lsof -i -P | grep 5051

mesos slave通常使用更大范围的端口 31000-32000 ,使用mesosphere release,您可以轻松控制为mesos任务分配的端口范围:

echo "[20000-32000]" > /etc/mesos-slave/resources/ports
s3fp2yjn

s3fp2yjn2#

在对集群的所有节点进行冷重启和升级(mesos包也升级了)之后,一切都正常运行。
升级到0.27后,sems将成为mesos的一个bug。
无论如何谢谢你!

相关问题