如何在apache超集中指定配置单元参数?

svujldwt  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(546)

有人知道如何在超集中设置配置单元参数(比如set=)吗。
我正在尝试设置tez queue,因为我在提交查询时收到错误,如下所示:
配置单元错误:('query error','error while processing statement:failed:execution error,从org.apache.hadoop.hive.ql.exec.tez.teztask'返回代码1)
有人提出了一个解决方案:https://github.com/dropbox/pyhive/issues/287
但这不起作用(至少在v0.36中)

l7mqbcuq

l7mqbcuq1#

我找到了答案。在超集中创建数据源时。在extra文本框中,可以用json指定配置单元参数

{
    "metadata_params": {},
   "engine_params": {"connect_args":{
   "configuration": {
    "auth": "KERBEROS", 
    "kerberos_service_name": "hive",
    "hive.execution.engine": "tez",
    "tez.queue.name": "network-job",
    "mapred.reduce.tasks":"2",
    "tez.grouping.min-size":"1073741824",
    "tez.grouping.max-size":"1073741824",
}
}},
    "metadata_cache_timeout": {},
    "schemas_allowed_for_csv_upload": []
}

相关问题