为azure kafka配置灾难恢复和自动故障切换?

nfzehxib  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(477)

我们的Kafka在美国东部的azurehdinsight上运行,而我们的热门备用区域在美国西部。
如何配置azure hdinsight以支持具有自动故障切换的灾难恢复?它会影响连接字符串吗?

relj7zay

relj7zay1#

azurehdinsight是使用独特的体系结构开发的,用于确保关键服务的高可用性(ha)。此体系结构的一些组件是由microsoft开发的,用于提供自动故障切换。其他组件是为支持特定服务而部署的标准apache组件。
本文介绍了hdinsight中ha服务模型的体系结构、hdinsight如何支持ha服务的故障转移,以及从其他服务中断中恢复的最佳实践。
对于azure hdinsight kafka集群,可以使用kafka的镜像功能在azure hdinsight上用kafka复制apache kafka主题。
什么是Kafka?
kafka的镜像功能使维护现有kafka集群的副本成为可能。
apache-kafka镜像是如何工作的?
镜像的工作原理是使用mirrormaker工具(apachekafka的一部分)使用主集群上主题的记录,然后在辅助集群上创建本地副本。mirrormaker使用一个(或多个)从主集群读取的使用者和一个写入本地(辅助)集群的生产者。
最有用的灾难恢复镜像设置在不同的azure区域使用kafka群集。为了实现这一点,集群所在的虚拟网络被窥视在一起。
下图说明了镜像过程以及集群之间的通信流程:

有关更多详细信息,请参阅use mirrormaker to replicate apache kafka topics with kafka on hdinsight and big data streaming:choices for high availability and disaster recovery on microsoft azure

相关问题