我正在尝试开发一个基于物联网的应用程序，其中多个设备将生成数据并将其发送给Kafka经纪人。这些设备的数量可能在6万到7万台之间。
可能有5-10种不同的设备类型，但是，每种类型的设备数将以千为单位，例如每种设备数为2-4万。
我想了解kafka主题的用法，它应该支持这么多设备（平均2-4万个设备）。
另外，请告诉我这种应用程序是否需要基于mqtt的实现。
提前谢谢，
阿维纳什·德什穆克
我正在尝试开发一个基于物联网的应用程序，其中多个设备将生成数据并将其发送给Kafka经纪人。这些设备的数量可能在6万到7万台之间。
可能有5-10种不同的设备类型，但是，每种类型的设备数将以千为单位，例如每种设备数为2-4万。
我想了解kafka主题的用法，它应该支持这么多设备（平均2-4万个设备）。
另外，请告诉我这种应用程序是否需要基于mqtt的实现。
提前谢谢，
阿维纳什·德什穆克
2条答案
按热度按时间1rhkuytd1#
我想了解kafka主题的用法，它应该支持这么多设备（平均2-4万个设备）。
老实说，我不明白这个问题。你是在问主题大小吗？分区数？等等。你打算让你的设备直接访问Kafka集群吗？
另外，请告诉我这种应用程序是否需要基于mqtt的实现。
apachekafka本身不支持mqtt。你在说什么商业解决方案吗？
lc8prwob2#
分区的数量主要影响使用者端，因为它是读取消息的并行单元。在producer方面，考虑因为每个leader分区都由一个代理托管，所以producer必须连接到不同的代理以写入不同的分区，因此需要多个tcp连接。
关于mqtt，这意味着您必须运行mqtt代理，然后kafka连接相关的mqtt连接器。这将是有意义的取决于你的设备类型。mqtt协议作为轻量级协议最适合于嵌入式/iot设备，因此对于低功耗设备，它比在设备堆栈上使用kafka协议更有意义。但这也可能取决于您是否在边缘使用物联网网关，从现场的多个设备收集消息，然后发送给Kafka。