我正在构建一个新的微服务，它有两个kafka主题，提供需要处理的大量消息（处理涉及到对另一个微服务的rest调用），并重新发布包含已处理消息的新消息。
经过一番搜索，我发现我可以使用以下解决方案之一：
通常的kafka消费生产者api使用线程来处理消息
据我所知，kafka steam api利用了消费、处理和重新发布消息的过程
KafkaReact无阻塞和快速处理的消息
这里的邮件目标是尽可能地实现高吞吐量，因为它预期处理每个主题上成百上千条消息。
如果我误解了以上的任何一点，有没有人能给我一些指导方针，告诉我什么更适合我的情况？
1条答案
按热度按时间46scxncf1#
在实际的实现框架上提供建议（消费者对流与React性）最终可能是基于意见的。
独立于这种选择，kafka可以根据主题中的分区数量进行扩展。由于主题分区只能由一个使用者示例（同一使用者组的）使用，因此您需要有大量的分区和使用者示例。
当然，您也可以使用大量的主题，因为这也会增加并行性和吞吐量。
这可以独立于您的实现选择来实现。