我们计划使用aws-msk服务来管理kafka和schema注册表,并将来自confluent的kafka-connect服务一起运行我们的连接器(elasticsearch-sink-connector)。我们计划在ec2中运行模式注册表和连接器。
根据confluent团队的说法,如果我们使用msk for kafka,他们就不能正式支持confluent schema registry和kafka connect。
那么,谁能分享他们的经验?比如说,如果anybuddy在生产环境中使用了msk和合流服务的组合?
使用这种组合有风险吗?
是否建议使用此组合?
如果我们将面临连接器的任何问题,合流社区如何提供支持?
还有其他建议、意见或替代方案吗?
我们已经拥有合流公司平台许可证,但我们希望管理kafka服务,这就是为什么我们选择aws mks,因为根据我们的分析,它比合流云更具成本效益?
请提前分享您的想法和感谢。
谢谢
1条答案
按热度按时间dbf7pr2w1#
客观地回答你的问题这是可行的,但这取决于你的主要痛苦在哪里。
从许可的Angular 来看,没有什么能强迫您只使用kafka connect或schema registry就拥有合流订阅,因为它们分别基于apache许可证2.0和合流社区许可证。
从技术Angular 来看,您可以在ec2和上运行kafka connect和schema registry;只要它们与msk集群运行在同一个vpc中,它们就能完美地工作。
从成本Angular 来看,您必须评估由您和/或您的团队管理kafka connect和schema registry的成本。不仅要考虑安装和设置阶段,还要考虑管理和发展阶段。软件可能没有任何成本,但是操作这些组件的努力可以转化为成本。
如果我们将面临连接器的任何问题,合流社区如何提供支持?
Kafka社区通常非常有用,无论您是在apachekafka用户组中请求帮助还是在slack中confluent拥有的社区中请求帮助。当然,这一切都是为了尽最大的努力,你不能依赖他们来获得支持。这可能需要几天,直到一些好心人决定帮助你。这也转化为成本:降低和/或等待解决的成本是多少?
我不再是一个合流的员工,因此我甚至不会试图说服你从他们那里购买。但是您应该评估这个成本组件,并检查使用confluent cloud是否不能为您提供更经济高效的解决方案,因为它包括kafka、kafka connect和schema registry的托管版本。根据我的经验,confluent cloud上的托管kafka没有那么昂贵,而且托管架构注册表是“免费的”,但是使用托管连接器可能会非常昂贵,而且根据在托管连接器中配置的任务数量,情况会更糟。这是你唯一应该注意的问题。