气流2 /扩展器-合成:如何为DAG安装Python依赖项?

olmpazwi  于 2022-11-28  发布在  Python
关注(0)|答案(1)|浏览(118)

我已经使用docker-compose安装了airflow 2.0.2,如https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html中所述。
我已经研究了相当长的时间,但我没有找到一种方法来安装我的DAG的Python依赖项。我知道如何使用一个Dockerfile(COPY requirements.txt /app/RUN pip install -r requirements.txt)来完成这一点,但这里没有涉及到Dockerfile。

  • 如何在airflow 2.0.2 / docker-compose中安装Python依赖项?
  • 在使用自定义docker-compose时部署的六个容器中,我需要在哪一个上安装依赖项?
o7jaxewo

o7jaxewo1#

而不是使用

image: apache/airflow:x.x.x

在您的Docker编写器中,您希望将此设置为

build:
    context: .
    dockerfile: Dockerfile

然后将其写入您的Dockerfile

FROM apache/airflow:x.x.x

COPY requirements.txt ./requirements.txt

其中requirements.txt包含了python包,所以你没有使用镜像,而是通过安装python包重新构建它。

相关问题