我有一个web服务器，其他网站重定向到一些获取参数。我的情况：
目前我每天有2GB的web服务器日志。
我需要过滤日志至少半年（~350gb的日志）。
我正在使用amazon基础设施将日志存储在s3 bucket上。我有两个web服务器正在写日志。
我应该使用哪种技术来查询/过滤这些数据？以前我在一台ubuntu机器上下载文件，然后grep它以获得结果。我也在aws上测试了hadoop，但是我发现它很难使用。
以下哪种技术/解决方案是最好的：
过滤速度
易学
易于更改过滤规则
谢谢你对此事的关注
2条答案
按热度按时间wsewodh21#
您可以使用aws cloud watch日志流；正确地说，它是为你的需要而创建的。您可以创建日志流，并使用客户端（web服务器）上的小代码，自动将日志推送到cloudwatch。
将日志数据发送到CloudWatch后，您可以从日志文件中搜索、筛选、创建度量和 Jmeter 板。
例如，您希望统计日志中的所有“失败登录”，或者您希望计算web服务器下游大小或任何其他度量。
这很容易而且很快。
同样使用CloudWatch，您可以创建警报并在日志文件中发生某些事件时接收警报。
最后，您可以从日志指标创建一个beatifull Jmeter 板。
享受云观看！！
更多信息：
https://aws.amazon.com/cloudwatch/
http://docs.aws.amazon.com/amazoncloudwatch/latest/developerguide/whatiscloudwatchlogs.html
dba5bblo2#
在您的情况下，我将推荐elasticsearch（支持与多个aws集成）。
它简单易用，足够快，可扩展性强，并且有很棒的插件kibana和logstash。
第一个用于可视化，第二个用于日志解析/过滤，它有一个配置文件，您可以在其中随意更改过滤器。
这里有一个很好的教程，所以你可以开始使用logstash。