我有麻烦了。我将在运行良好之前创建代码dataprocpigoperator,因为默认区域正在运行global,但我更改了asia-easth1中集群中的定义region代码没有运行,因为dataprocpigoperator是运行global region的默认作业。有什么解决办法吗。。??
t1 = DataProcPigOperator(
task_id='abc',
dataproc_cluster='abc-cluster-{{ ds_nodash }}',
gcp_conn_id='abc_gcp_connection',
query_uri='gs://abc/abc-ng/abc.pig',
variables={'INPUT': 'gs://abc/abc-ng/summary/*', 'OUTPUT': 'gs://abc/abc-ng/output/'},
dag=dag
)
如何在dataprocpigoperator中设置region和zone。。??
谢谢。
1条答案
按热度按时间mqkwyuun1#
感谢您提出这个问题,region字段被添加到pig中,其他一些作业类型也被这个pull请求省略了:
https://github.com/apache/incubator-airflow/pull/2788