kubernetes 如何配置Airflow将日志写入Blob存储?

2guxujil  于 2023-01-12  发布在  Kubernetes
关注(0)|答案(1)|浏览(153)

我尝试跟随这篇文章:https://airflow.apache.org/docs/apache-airflow/1.10.6/howto/write-logs.html,因此Airflow将开始将日志写入blob存储,但问题是我现在不知道如何配置Airflow来执行此操作。在我的示例中,Airflow在Kubernetes群集上运行,并通过Helm图表完成部署。
我尝试登录到Web服务器Pod,但@airflow用户未被授权在AIRFLOW_HOME目录中创建任何文件。我尝试使用sudo,但找不到密码(我甚至不确定它是否工作,反正airflow不在sudoers中)
我应该做所有这一切在码头形象,只是重新启动气流?

brvekthn

brvekthn1#

我不太熟悉Helm图表的设置,但也许值得尝试一下在values.yaml文件中添加用于远程日志记录的变量,如下所示:

config: 
    logging:
        remote_logging=True
        log_conn_id=<their AWS conn id>
        remote_base_log_folder=s3://bucket-name/logs

另外,通过Dockerfile中的ENV变量或通过UI定义正常气流连接,并将其作为AWS连接ID提供。
如果这不起作用,我的下一个尝试是使用ENV变量在Dockerfile中的所有设置:

# allow remote logging and provide a connection ID
ENV AIRFLOW__LOGGING__REMOTE_LOGGING=True
ENV AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID=${AMAZONS3_CON_ID}

# specify the location of your remote logs using your bucket name
ENV AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER=s3://${S3BUCKET_NAME}/logs

# optional: serverside encryption for S3 logs
ENV AIRFLOW__LOGGING__ENCRYPT_S3_LOGS=True

此外,如果你是在前2气流考虑升级,如果你可以,这是值得的imho。:)

相关问题