canal消费kafka数据同步到ES,在大批量操作mysql数据同步非常慢

jum4pzuy  于 7个月前  发布在  Kafka
关注(0)|答案(1)|浏览(180)

背景:

1、使用kafka通信模式保存mysql binlog日志;
2、canal消费kafka数据同步到ES
3、同步配置yml中关联多张表。

问题:大批量操作中间表时,canal消费kafka同步到ES过程非常缓慢(同步过程),请问这种问题有遇到过的吗?

v1l68za4

v1l68za41#

确实比rdb同步慢些,es涉及值类型转化、以及关联表会影响性能以及 数据量的大小,可以尝试索引 或者调整一下commitBatch参数

相关问题