我用kafka来收集日志,分区还有什么好处吗,比如我们以后可以用它来简化日志的处理,如果我们在一个主题中使用分区,分区增加了并行性,这是在kafka主题中使用分区的一个优点。
sh7euo9m1#
为了获得更好的效率,在多个磁盘和节点上分发数据,最好对主题进行分区。我不认为为一个主题创建多个分区会成为您处理的问题,因为kafka负责处理拥有多个分区的内部逻辑您只需要拥有主题信息。拥有多个分区将增加吞吐量并减少延迟。
1条答案
按热度按时间sh7euo9m1#
为了获得更好的效率,在多个磁盘和节点上分发数据,最好对主题进行分区。
我不认为为一个主题创建多个分区会成为您处理的问题,因为kafka负责处理拥有多个分区的内部逻辑您只需要拥有主题信息。
拥有多个分区将增加吞吐量并减少延迟。