我想使用源码启动canal + RocketMQ

4ngedf3f 于 4个月前发布在其他

关注(0)|答案(9)|浏览(40)

tcp 模式已经跑通了。改成RocketMQ后

loader无法加载 RocketMQProducer ，如下图报错. Extension instance(name: rocketmq, class: interface com.alibaba.otter.canal.connector.core.spi.CanalMQProducer) could not be instantiated: class could not be found
想咨询一下,还需要如何配置IDEA 才能正常启动？

canal

来源：https://github.com/alibaba/canal/issues/4218

9条答案

按热度按时间

w8f9ii691#

我把这里注释掉就ok了

赞(0）回复(0）举报 4个月前

iyr7buue2#

mq模式下性能是不是比tcp要好

赞(0）回复(0）举报 4个月前

ergxz8rk3#

mq模式下性能是不是比tcp要好

只能说扩展性比较好吧，因为tcp是当前线程直接去获取binlog

导入到mq中的话

如果binlog的数据量比较大，那可以弹性扩容consumer 加速消费
如果依赖binlog的下游比较多,比如注册用户后需要发优惠券或者发积分，那多几个消费者订阅同一个topic就可以解耦了。不需要修改tcp的监听代码。

赞(0）回复(0）举报 4个月前

eqoofvh94#

mq模式下性能是不是比tcp要好

只能说扩展性比较好吧，因为tcp是当前线程直接去获取binlog

导入到mq中的话

如果binlog的数据量比较大，那可以弹性扩容consumer 加速消费
如果依赖binlog的下游比较多,比如注册用户后需要发优惠券或者发积分，那多几个消费者订阅同一个topic就可以解耦了。不需要修改tcp的监听代码。

我测试发现使用tcp模式性能好差导个10w条数据要好久如果使用mq的模式那从mq到es这块是不是需要自己来实现了

赞(0）回复(0）举报 4个月前

ogsagwnx5#

好久是多久？源码这里的实现也是先从canal中获取数据，再发送给RocketMQ.
可以调整下 getWithoutAck 的参数 batchSize， 1000试试。使用RocketMQ主要是为了削峰，因为线上环境也不可能24小时不停的变更，业务总有低谷。如果高峰期来不及消费，扔到MQ中也可以在低估期慢慢消费。

赞(0）回复(0）举报 4个月前

mlnl4t2r6#

好久是多久？源码这里的实现也是先从canal中获取数据，再发送给RocketMQ. 可以调整下 getWithoutAck 的参数 batchSize， 1000试试。使用RocketMQ主要是为了削峰，因为线上环境也不可能24小时不停的变更，业务总有低谷。如果高峰期来不及消费，扔到MQ中也可以在低估期慢慢消费。