我有这个管道：webserver+rsyslog->kafka->logstash->elasticsearch->kibana我找到了这些工具来帮助测试我的管道：通过使用jmeter-ec2旋转jmeter ec2示例来生成web服务器负载在kafka上生成负载，并使用sangrenel帮助绘制吞吐量图我想知道是否有人对测试组件或端到端测试有其他建议？谢谢。
bq9c1y661#
好问题！我正在寻找类似的东西，但可以解决一个简单的家庭解决方案。用螺栓将数据写入Kafka来建立风暴群。需要注意的一点是id/密钥，这样您的消息就会分布在多个分区中。风暴的原因是发行了一套出版商。作为风暴的替代品，你可以有多个制片人，比如说Kafka彭德一旦你知道你的Kafka表现，连接logstash到加载的主题，让它尽可能快地流失。您可以通过kafkamanager或连接到jmx（许多工具都可以实现这一点）找到一些有用的信息监测弹性的最简单方法是惊奇kibana的性能取决于查询返回的数据量，但最小间隔仍然是5秒。根据我的经验，logstash性能将取决于数据大小和grok复杂性。elastic的性能主要是集群大小、shard/模板配置。设置中最快的组件总是kafka（由ack和zookeeper设置限定）另外，如果您控制数据生成，您可以比较生成的记录时间与logstash的@timestamp，并测量滞后时间。
1条答案
按热度按时间bq9c1y661#
好问题！我正在寻找类似的东西，但可以解决一个简单的家庭解决方案。
用螺栓将数据写入Kafka来建立风暴群。需要注意的一点是id/密钥，这样您的消息就会分布在多个分区中。风暴的原因是发行了一套出版商。作为风暴的替代品，你可以有多个制片人，比如说Kafka彭德
一旦你知道你的Kafka表现，连接logstash到加载的主题，让它尽可能快地流失。您可以通过kafkamanager或连接到jmx（许多工具都可以实现这一点）找到一些有用的信息
监测弹性的最简单方法是惊奇
kibana的性能取决于查询返回的数据量，但最小间隔仍然是5秒。
根据我的经验，logstash性能将取决于数据大小和grok复杂性。elastic的性能主要是集群大小、shard/模板配置。设置中最快的组件总是kafka（由ack和zookeeper设置限定）
另外，如果您控制数据生成，您可以比较生成的记录时间与logstash的@timestamp，并测量滞后时间。