我正面临一个与Yarn展览会有关的问题(hadoop 3.2.2版)
我有一组作业,比如说6个作业,它们都提交到一个“特定的\u队列”。在这个队列中,最多可以并行运行2个作业,我希望其他4个作业保持挂起/接受状态。
但是,在当前配置下,我可以并行处理2个作业,并将其他4个结果作为“挂起的应用程序”,但在一段时间内,它们的状态为“正在运行”,没有资源分配给它们(应该是这样)。
因为在我的作业中,在几分钟后有一个可重新启动的策略,这导致由于它们的状态是“正在运行”(并且处于活动状态),它们达到了我配置的相关最大重新启动尝试,但是在它们内部没有做任何操作。
有没有办法明确地将状态设置为pending/accepted状态,并仅在maxrunningapps更改时更改它(例如从2减为1)?
my fair-scheduler.xml如下:
<?xml version="1.0"?>
<allocations>
<queue name="specific_queue">
<maxRunningApps>2</maxRunningApps>
</queue>
<queuePlacementPolicy>
<rule name="default" queue="specific_queue"/>
</queuePlacementPolicy>
<queueMaxAppsDefault>2</queueMaxAppsDefault>
<userMaxAppsDefault >2</userMaxAppsDefault >
</allocations>
我在fair-scheduler.xml中遗漏了什么?
这是我在yarn.u队列中看到的
这是队列收到作业后的作业状态
暂无答案!
目前还没有任何答案,快来回答吧!