我以前从来没有用过zookeeper/kafka，所以如果有什么我说的是错误的，请随时更正。让zookeeper/kafka集群使用aws ecs进行上下扩展是个好主意吗？我不太清楚这是怎么做到的，因为似乎没有太多的信息将两者结合在一起，所以我开始觉得这不是我应该做的事情。似乎没有一种方法可以将zookeeper副本自动添加到集群中，而kafka似乎也是如此（除非使用mirrormaker）。
fdbelqdn1#
zookeeper可由参展商使用共享配置位置进行自动示例管理。把它组合成一个docker映像，使用AmazonS3作为后端选项，你就可以开始了。Kafka有点复杂，因为每个节点都需要一个唯一的 broker.id 而且您需要管理那些考虑到故障和节点替换的节点。另外，当一个新的 broker.id 添加到集合中，或从集合中移除（即，当您放大或缩小时）。我强烈推荐这篇关于 broker.id 自动缩放组中的管理。请注意，这两个问题都与kafka自动伸缩有关，而不是使用amazonecs本身。在AmazonECS上的docker容器中部署kafka（带有一些限制）应该相当简单。我不确定mirrormaker如何适合您的场景，但请记住，这只是另一个消费者—它与集群管理无关。
broker.id
1条答案
按热度按时间fdbelqdn1#
zookeeper可由参展商使用共享配置位置进行自动示例管理。把它组合成一个docker映像，使用AmazonS3作为后端选项，你就可以开始了。
Kafka有点复杂，因为每个节点都需要一个唯一的
broker.id而且您需要管理那些考虑到故障和节点替换的节点。另外，当一个新的broker.id添加到集合中，或从集合中移除（即，当您放大或缩小时）。我强烈推荐这篇关于broker.id自动缩放组中的管理。请注意，这两个问题都与kafka自动伸缩有关，而不是使用amazonecs本身。在AmazonECS上的docker容器中部署kafka（带有一些限制）应该相当简单。
我不确定mirrormaker如何适合您的场景，但请记住，这只是另一个消费者—它与集群管理无关。