ES到S3日志存储管道

要将原始json从Elasticsearch移动到S3存储桶，可以使用logstash管道中的s3输出。

input {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "myindex-*"
    query => '{ "query": { "match_all": {} } }'
  }
}

filter {
  # Your filter configuration here
}

output {
  s3 {
    bucket => "BUCKET_NAME"
    region => "us-east-1"
    access_key_id => "ACCESS_KEY"
    secret_access_key => "SECRET_KEY"
    canned_acl => "private"
    prefix => "logs/" # Optional 
    time_file => 5m
    codec => json_lines {}
    codec => plain {
      format => "%{[message]}"
    }
  }
}

S3输出插件-参数

*bucket：保存数据的S3 bucket的名称。
*region：S3存储桶所在的AWS区域。
*访问密钥ID：有权写入S3存储桶的AWS访问密钥ID。
*秘密访问密钥：与访问密钥ID关联的AWS机密访问密钥。
*prefix：要添加到已保存数据的对象键的前缀。
*时间文件：将数据刷新到S3之前缓冲数据的最长时间（秒）。
*codec：用于对要保存的数据进行编码的编解码器。在本例中，我们使用两个编解码器-json_lines对JSON数据进行编码，plain将数据格式化为字符串。

如果在ECS Container或EC2中运行此管道，则无需提供ACCESS_KEY和SECRET_KEY，出于安全原因，可以创建角色并分配给ECS或EC2。