我们的配置单元查询创建了9个map reduce作业和17个stage(当我运行explain命令时,输出显示了17个stage和stage依赖项)。每个孩子的工作都是一样的 mapreduce.job.name
为了区分这些儿童工作,我有没有办法设定 mapreduce.job.name
在配置单元查询中,以便对于每个作业,我可以看到作业的阶段。所有9个子作业的现有作业名称:
Job.Name : hive_query_map_reduce_job
有没有什么方法可以让我得到的工作名称在工作跟踪器作为
Job.Name : hive_query_map_reduce_job_stage_1
Job.Name : hive_query_map_reduce_job_stage_2
Job.Name : hive_query_map_reduce_job_stage_3
...
我提到了如何控制一个Hive作业名称,但保留阶段信息?但并没有如预期的那样奏效。我试着设置 mapreduce.job.name
在查询内部的多个位置有不同的值,但所有子作业都采用我最后分配的值。假设我的查询文件是hivequery.q
hivequery.q文件
套hiveconf:mapreduce.job.name=“唯一名称1”。
...
--一些查询语句
...
套hiveconf:mapreduce.job.name=“唯一名称2”。
...
--一些查询语句
...
套hiveconf:mapreduce.job.name=“唯一名称3”。
对于上面的查询,所有9个mapreduce作业 "unique name 3"
作为作业名称。我也试过了 hive.query.name
以及 hive.query.string
但这些都没用。这可能吗?有人知道如何做到这一点吗?
暂无答案!
目前还没有任何答案,快来回答吧!