oozie中配置单元操作的作业队列

z9smfwbn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(567)

我有一个oozie工作流。我正在提交所有的Hive行动

<name>mapred.job.queue.name</name>
<value>${queueName}</value>

但对于少数配置单元操作,启动的作业不在指定队列中;它在默认队列中调用。
请告诉我这种行为背后的原因和解决办法。

yk9xbfzb

yk9xbfzb1#

答。oozie指定oozie将“常规”hadoop属性传播到“常规”mapreduce操作。
但对于其他类型的操作(shell、hive、java等),oozie在yarn中运行单个mapper任务,它并不认为这是一个真正的mapreduce作业。因此,它使用一组不同的未记录属性,这些属性总是以 oozie.launcher. 比如看那篇文章。
所以在您的例子中,要设置的实际属性是 oozie.launcher.mapred.job.queue.name b。tez细节摘自hortonworks文档:
例如,在hive中,可以使用 tez.queue.name 属性指定要用于tez作业上的配置单元的队列。要在tez作业上分配配置单元以使用“工程”队列,请将以下属性添加到hive-site.xml:

<property>  <name>tez.queue.name</name> <value>engineering</value> </property>

相关问题