同步100W行数据,延迟达到10多分钟。调整了canal的buffer大小,也调整了同步的并发数及载入线程数 ,也调整了node节点的jvm,但是效果都不明显。还有其他参数可以调整么 ???
piah890a1#
怎么会这么慢呢?
3phpmpom2#
老哥有没有遇到过延迟几十个小时的情况,我的表才几万数据,第一天的时候只是延迟1小时,后面什么都做,延迟时间居然达到了90多小时,不知道怎么优化。。。
llmtgqce3#
大佬,目前我这边测试国外机房同步国内mysql, 只支持每秒5k的update, 更新1w的时候2-3小时之后就开始延迟,跑一夜第二天延长能到6个小时,目前目的mysql 和node是4c8g,出了磁盘写入比较高(一般20~40M/s)其他指标都正常, 尝试修改Pipeline或者canal配置都没有显著降低延迟的效果,请问你这边测试的情况能到什么程度
3条答案
按热度按时间piah890a1#
怎么会这么慢呢?
3phpmpom2#
老哥有没有遇到过延迟几十个小时的情况,我的表才几万数据,第一天的时候只是延迟1小时,后面什么都做,延迟时间居然达到了90多小时,不知道怎么优化。。。
llmtgqce3#
怎么会这么慢呢?
大佬,目前我这边测试国外机房同步国内mysql, 只支持每秒5k的update, 更新1w的时候2-3小时之后就开始延迟,跑一夜第二天延长能到6个小时,目前目的mysql 和node是4c8g,出了磁盘写入比较高(一般20~40M/s)其他指标都正常, 尝试修改Pipeline或者canal配置都没有显著降低延迟的效果,请问你这边测试的情况能到什么程度