适用于GCP和Azure的DataJobs气流障碍

xdnvmnnf  于 2023-01-18  发布在  其他
关注(0)|答案(1)|浏览(74)

实现运营商到抽象云提供商(GCP & Azure)的特定调用(SQL/Python/Spark)
我找到了此文档:-https://airflow.apache.org/docs/apache-airflow/1.10.14/_modules/airflow/contrib/example_dags/example_gcp_sql.html
但我不清楚如何根据我的任务来执行这一点

kyvafyod

kyvafyod1#

如果存在适合您的用例的运算符,您可能需要查看GoogleAzure Airflow提供程序的可用运算符。
Astronomer注册中心有一些示例DAG,其中包含这些包中一些运算符的实现(Google example DAGsAzure example DAGs
免责声明:我在天文学家工作:)
附言:你分享的链接指向非常过时的pre2气流文档。那个DAG代码很可能在现代气流中抛出错误。

相关问题