我们计划实现kafka来收集各种设备的日志。我们预计将有大约10k的设备。我们是否可以将所有这些设备直接连接到kafka集群，或者我们是否应该通过日志服务器收集日志以限制到kafka的连接数？我们计划每种设备（linux、aix、windows2003、2008等）有一个主题。谢谢
bvjveswy1#
我要说的是，相关的指标是每个kaka节点每秒需要传递的消息数。它的基准测试非常好，每个节点每秒有数十万条消息，每个节点可以线性扩展。如果一个或两个节点不够，您可以添加更多节点以提高吞吐量。有3个节点的旧基准测试每秒执行800k条消息（约80MB），每条消息都被复制到其他节点。您可以在此处深入阅读：https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines编辑：Kafka连接是tcp连接的封面下：https://cwiki.apache.org/confluence/display/kafka/a+guide+to+the+kafka+protocol#aguidetothekafkaprotocol-网络引用：
Kafka uses a binary protocol over TCP. The protocol defines all apis as request response message pairs.
tcp套接字连接非常轻量级，并且仅受所连接服务器的可用内存的限制。有些Kafka是线性扩展的，你应该能够扩展经纪人，并根据你预期的负载分配你的主题
1条答案
按热度按时间bvjveswy1#
我要说的是，相关的指标是每个kaka节点每秒需要传递的消息数。它的基准测试非常好，每个节点每秒有数十万条消息，每个节点可以线性扩展。如果一个或两个节点不够，您可以添加更多节点以提高吞吐量。
有3个节点的旧基准测试每秒执行800k条消息（约80MB），每条消息都被复制到其他节点。
您可以在此处深入阅读：https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
编辑：Kafka连接是tcp连接的封面下：https://cwiki.apache.org/confluence/display/kafka/a+guide+to+the+kafka+protocol#aguidetothekafkaprotocol-网络
引用：
tcp套接字连接非常轻量级，并且仅受所连接服务器的可用内存的限制。有些Kafka是线性扩展的，你应该能够扩展经纪人，并根据你预期的负载分配你的主题