当使用logstash从您有权访问的文件夹中检索气流日志时，我是否还需要在airflow.cfg文件中进行任何更改？例如，我在同一个ec2示例上部署了气流和ELK。logstash.conf文件可以访问气流日志路径，因为它们在同一个示例上。我需要在气流配置中打开remote logging吗？
remote logging
fnx2tebb1#
事实上，您有两种方法可以将气流日志推送到Elastic Search：1.使用日志收集器（logstash，fluentd，...）收集Airflow日志，然后将其发送到Elastic Search服务器，在这种情况下，您不需要更改任何Airflow配置，只需从文件或stdout中读取日志，然后将其发送到ES。1.使用Airflow远程日志记录功能，在这种情况下，Airflow将直接记录到您的远程日志记录服务器（在您的情况下为ES），并将存储此日志的本地版本，以便在远程服务器不可用时显示。因此，您的问题的答案是否定的，如果您有一个logstash，您不需要Airflow remote logging配置
1条答案
按热度按时间fnx2tebb1#
事实上，您有两种方法可以将气流日志推送到Elastic Search：
1.使用日志收集器（logstash，fluentd，...）收集Airflow日志，然后将其发送到Elastic Search服务器，在这种情况下，您不需要更改任何Airflow配置，只需从文件或stdout中读取日志，然后将其发送到ES。
1.使用Airflow远程日志记录功能，在这种情况下，Airflow将直接记录到您的远程日志记录服务器（在您的情况下为ES），并将存储此日志的本地版本，以便在远程服务器不可用时显示。
因此，您的问题的答案是否定的，如果您有一个logstash，您不需要Airflow
remote logging配置