一个 Canal 实例和多个 Canal 实例监听同一个MySQL实例，对主库产生的压力是一样的吗？

ao218c7q 于 4个月前发布在 Mysql

关注(0)|答案(4)|浏览(135)

Question

如题，一个 Canal 实例和多个 Canal 实例监听同一个MySQL实例（版本5.7），对主库产生的压力是一样的吗？
由于一个 Canal 应用只能配置一个 Kafka 集群，由于业务需要将 binlog 写入多套 Kafka 集群，那么就得配置多个 Canal 应用，担心一个 MySQL 实例被多个 Canal 监听会产生较大压力进而影响业务；
如果确实是业务需要，多个 Canal 监听同一个数据库实例，这样正常吗？比如，以4c16g配置的数据库实例为例，控制被 Canal 监听的数量在多少之内是比较合理的呢？

来源：https://github.com/alibaba/canal/issues/5005

4条答案

按热度按时间

肯定是canal-server越多 master压力越大因为每个从库连上来master都需要创建线程并且持续传输binlog啊
不知道你写入多套kafka集群是什么业务场景，写到一套不同的消费组来消费不能满足业务需求吗？
具体多少个从库比较合适你要结合实际的负载来看

赞(0）回复(0）举报 4个月前

感谢回答我的问题。
多套Kafka集群是由于历史原因在多套云上部署了，且都需要消费binlog。
针对同一套Kafka集群现在也确实是通过多个消费者组来消费的。

赞(0）回复(0）举报 4个月前

另外，一般怕master压力大，对延迟不那么敏感，你也可以通过监听slave的binlog来做

赞(0）回复(0）举报 4个月前

我们 RDS 用的是 AWS Aurora，之前有找AWS相关人员探究过这一块，后来对方表示不支持从从库获取 binlog（Aurora 的主从同步是通过 redo log 实现的），所以我们目前只能依赖主库来同步😥

赞(0）回复(0）举报 4个月前

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前