我有3个服务器之间的10gb连接和运行Kafka集群在2台服务器上，并生成一些测试在第三台服务器。。。
当我运行一个java生产者（在不在kafka集群中的第三台服务器中）发送100万条消息时，需要3秒钟，但当我运行另一个java生产者（主题不同）时，两个生产者发送消息都需要6秒钟。
我确信网络连接不是瓶颈（它是10gb）
那么为什么会出现这个问题，我该如何解决这个问题（我希望两个生产者都花3秒钟）？
我有3个服务器之间的10gb连接和运行Kafka集群在2台服务器上，并生成一些测试在第三台服务器。。。
当我运行一个java生产者（在不在kafka集群中的第三台服务器中）发送100万条消息时，需要3秒钟，但当我运行另一个java生产者（主题不同）时，两个生产者发送消息都需要6秒钟。
我确信网络连接不是瓶颈（它是10gb）
那么为什么会出现这个问题，我该如何解决这个问题（我希望两个生产者都花3秒钟）？
1条答案
按热度按时间hrysbysz1#
听起来您在两节点kafka集群中获得了每秒333333条消息的一致性能，zookeeper与您的两个kafka代理运行在同一台机器上。你不会说这些消息的大小，或者你正在使用什么类型的磁盘，或者有多少内存，或者你是用acks=all发布的，或者你正在使用什么编程语言（我假设是java），但这听起来像是很好的一致性结果，可能是代理上的磁盘io绑定，或者是单个客户机上的cpu绑定。