我们有一个python项目结构如下,气流是一个新的:
├── python
│ ├── airflow
│ │ ├── airflow.cfg
│ │ ├── config
│ │ ├── dags
│ │ ├── logs
│ │ ├── requirements.txt
│ │ └── webserver_config.py
│ ├── shared_utils
│ │ ├── auth
│ │ ├── datadog
│ │ ├── drivers
│ │ ├── entities
│ │ ├── formatter
│ │ ├── helpers
│ │ └── system
...
我想知道如何在我的airflow dags中调用shared_utils中的代码,或者我应该如何组织项目结构才能做到这一点?
2条答案
按热度按时间xesrikrc1#
我有一个项目,我有这个项目的布局
然后我把核心部分保存在core.py中。
当我想使用www.example.com文件中的代码时core.py,我将在www.example.com中dag.py执行以下操作:
这是我的airflow.cfg文件,它注册了plugins文件夹,以便PythonVirtualOperator可以找到插件中的代码。
顶级域名注册商;
因此,对于您的情况,我可以想象您可以在airflow.cfg中这样做:
yduiuuwa2#
你可以把你的
shared_utils
文件夹移到python
文件夹下的一个新文件夹my_package
中,然后把my_package
路径添加到你的python路径中:现在你可以在所有的python控制台中从你的包导入: