分布式计算—通过极光在mesos中启动具有大型docker图像的作业可能会很慢

ugmeyewa  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(331)

当通过极光(aurora)在mesos上启动一个使用相当大的docker图像(约2gb)的任务时,在任务真正开始之前有很长的等待时间。
即使任务之前已经启动,并且我们希望docker映像已经对worker节点可用,在任务实际启动之前,仍然有一个依赖于映像大小的等待时间。使用docker,你几乎可以立即启动一个容器,只要它已经在你的图片列表中,难道mesos集装箱船不支持这种“缓存”?这个功能是可以配置的吗?
我没有试过使用docker集装箱船,但据我所知,它将很快被淘汰,gpu资源隔离,我们需要的,只适用于mesos集装箱船。

olhwl3o2

olhwl3o21#

我想你说的是运行docker图像的统一集装箱船?你用的是什么后端?默认情况下,mesos代理使用拷贝后端,这就是为什么您会看到它变慢的原因。您可以通过点击查看代理正在使用的后端 flags 代理上的终结点。将后端切换到aufs或overlayfs以查看是否加快了启动速度。您可以通过标志指定后端 --image_provisioner_backend=VALUE 在探员身上。
注意:与此相关的bug修复很少 aufs 以及 overlayfs 在最新的mesos版本1.2.0-rc1中的后端,您可能希望使用它。更不用说在1.2.0-rc1中有一个autobackend特性,它可以自动选择最快的后端。

相关问题