实现运营商到抽象云提供商(GCP & Azure)的特定调用(SQL/Python/Spark)
我找到了此文档:-https://airflow.apache.org/docs/apache-airflow/1.10.14/_modules/airflow/contrib/example_dags/example_gcp_sql.html
但我不清楚如何根据我的任务来执行这一点
实现运营商到抽象云提供商(GCP & Azure)的特定调用(SQL/Python/Spark)
我找到了此文档:-https://airflow.apache.org/docs/apache-airflow/1.10.14/_modules/airflow/contrib/example_dags/example_gcp_sql.html
但我不清楚如何根据我的任务来执行这一点
1条答案
按热度按时间kyvafyod1#
如果存在适合您的用例的运算符,您可能需要查看Google和Azure Airflow提供程序的可用运算符。
Astronomer注册中心有一些示例DAG,其中包含这些包中一些运算符的实现(Google example DAGs、Azure example DAGs)
免责声明:我在天文学家工作:)
附言:你分享的链接指向非常过时的pre2气流文档。那个DAG代码很可能在现代气流中抛出错误。