我们有一个贝尔克设置,其中一个单一的logstash目前正在从“Kafka”和它目前落后数百万的日志。它怎么能在原木边上结垢呢?如何添加第二个日志存储服务器并使它们共享负载?
o0lyfsai1#
如果启动第二个示例并且它使用相同的组标识,则所有分区都将在这两个logstash示例中平均分割。值得确保您的消息在所有分区之间均匀分布(也就是说,您的消息不是放在一个分区中,也不是放在少数几个分区中)。仅供参考,如果还没有,您还可以调整logstash的单个示例。特别是,使用者线程的默认数目是1,这只会在您有1个分区时产生。
1条答案
按热度按时间o0lyfsai1#
如果启动第二个示例并且它使用相同的组标识,则所有分区都将在这两个logstash示例中平均分割。
值得确保您的消息在所有分区之间均匀分布(也就是说,您的消息不是放在一个分区中,也不是放在少数几个分区中)。
仅供参考,如果还没有,您还可以调整logstash的单个示例。特别是,使用者线程的默认数目是1,这只会在您有1个分区时产生。