我有一个oozie工作流。我正在提交所有的Hive行动
<name>mapred.job.queue.name</name> <value>${queueName}</value>
但对于少数配置单元操作,启动的作业不在指定队列中;它在默认队列中调用。请告诉我这种行为背后的原因和解决办法。
yk9xbfzb1#
答。oozie指定oozie将“常规”hadoop属性传播到“常规”mapreduce操作。但对于其他类型的操作(shell、hive、java等),oozie在yarn中运行单个mapper任务,它并不认为这是一个真正的mapreduce作业。因此,它使用一组不同的未记录属性,这些属性总是以 oozie.launcher. 比如看那篇文章。所以在您的例子中,要设置的实际属性是 oozie.launcher.mapred.job.queue.name b。tez细节摘自hortonworks文档:例如,在hive中,可以使用 tez.queue.name 属性指定要用于tez作业上的配置单元的队列。要在tez作业上分配配置单元以使用“工程”队列,请将以下属性添加到hive-site.xml:
oozie.launcher.
oozie.launcher.mapred.job.queue.name
tez.queue.name
<property> <name>tez.queue.name</name> <value>engineering</value> </property>
1条答案
按热度按时间yk9xbfzb1#
答。oozie指定oozie将“常规”hadoop属性传播到“常规”mapreduce操作。
但对于其他类型的操作(shell、hive、java等),oozie在yarn中运行单个mapper任务,它并不认为这是一个真正的mapreduce作业。因此,它使用一组不同的未记录属性,这些属性总是以
oozie.launcher.
比如看那篇文章。所以在您的例子中,要设置的实际属性是
oozie.launcher.mapred.job.queue.name
b。tez细节摘自hortonworks文档:例如,在hive中,可以使用
tez.queue.name
属性指定要用于tez作业上的配置单元的队列。要在tez作业上分配配置单元以使用“工程”队列,请将以下属性添加到hive-site.xml: