如何防止hadoop长时间运行的作业阻塞整个集群?

zpgglvta  于 2021-07-15  发布在  Hadoop
关注(0)|答案(0)|浏览(279)

我们在同一个cloudera/hortonworks集群中运行生产(prod)作业和开发(dev)作业。
每当启动长时间运行的dev作业时,它都会阻塞高优先级生产作业的资源。如何从dev job阻止此资源阻塞,并为prod job提供共享?
一种解决方案是为开发作业和生产作业创建单独的队列,并分配资源,例如20%用于开发队列,80%用于生产队列。用户可以在提交作业之前运行dev/prod作业,说明作业属于哪个队列。然而,我不知道如何实现这一点。有资源链接吗?这个解决方案适用于mr/tez/spark引擎吗?
抢占对防止资源阻塞有帮助吗?https://blog.cloudera.com/better-slas-via-resource-preemption-in-yarns-capacityscheduler/
谢谢您,

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题