如何在dataprocpigoperator中使用airflow设置region和zone(谷歌云平台)

yvfmudvl  于 2021-06-24  发布在  Pig
关注(0)|答案(1)|浏览(314)

我有麻烦了。我将在运行良好之前创建代码dataprocpigoperator,因为默认区域正在运行global,但我更改了asia-easth1中集群中的定义region代码没有运行,因为dataprocpigoperator是运行global region的默认作业。有什么解决办法吗。。??

t1 = DataProcPigOperator(
        task_id='abc',
        dataproc_cluster='abc-cluster-{{ ds_nodash }}',
        gcp_conn_id='abc_gcp_connection',
        query_uri='gs://abc/abc-ng/abc.pig',
        variables={'INPUT': 'gs://abc/abc-ng/summary/*', 'OUTPUT': 'gs://abc/abc-ng/output/'},
        dag=dag
    )

如何在dataprocpigoperator中设置region和zone。。??
谢谢。

mqkwyuun

mqkwyuun1#

感谢您提出这个问题,region字段被添加到pig中,其他一些作业类型也被这个pull请求省略了:
https://github.com/apache/incubator-airflow/pull/2788

相关问题