clickhouse副本不同步

i34xakig  于 2021-07-15  发布在  ClickHouse
关注(0)|答案(1)|浏览(1717)

我有一个由3个clickhouse服务器组成的集群,其中一个表使用replicatedmergetree。其中两个服务器不同步,“system.replication\u queue”中的队列计数不断增加。我可以在日志中看到这个错误。

Not executing log entry for part e87a3a2d13950a90846a513f435c2560_2428139_2436934_22 because source parts size (470.12 MiB) is greater than the current maximum (4.45 MiB).

如何增加源部件的大小?我在设置中找不到它。
更新:
我读了源代码,它是自动计算的基础上可用的资源。我也收到了这个信息

Not executing log entry for part de77ce6a2937ce543cd003eb289fdb7e_8097652_8107495_1904 because another log entry for the same part is being processed. This shouldn't happen often.

在日志中获取上述消息的服务器具有较高的cpu使用率和插入延迟。
一旦停止插入,复制队列就会被清除。

zazmityj

zazmityj1#

我找到了解决办法。这是因为@vladimir建议“合并的处理速度明显慢于插入”
我在大批量插入数据,但这并不意味着clickhouse也会将数据存储在大文件中。clickhouse基于

number of partitions * number of columns * (times 2 for every nullable column)

因此,即使是一个大批量插入,也会创建多个文件。我通过删除分区键来减少分区的数量,从而减少正在创建的文件的数量,从而解决了这个问题。

相关问题