我正在运行一个使用aws kinesis数据分析（kda）服务的flink应用程序。我的kda flink应用程序上一个检查点的大小似乎随着时间的推移而稳步增长。您可以在附图中看到，当我将更改推送到应用程序时，检查点大小突然下降，导致它拍摄快照、更新，然后从快照还原。我担心的是，一旦应用程序不再被积极开发，更改将不会被定期部署，检查点的大小最终可能会变得太大。
有人知道什么会导致检查点的大小不断增长吗？我在所有有效状态上使用statettl，并在应用程序代码中删除不再需要的状态。检查点大小的增加是否表明我在处理状态的代码中有一个bug，或者这里可能有其他东西在起作用？
1条答案
按热度按时间jei2mxaa1#
aws kinesis数据分析（kda）目前基于flink 1.8，其中有关状态清理的文档适用。
请注意
默认情况下，如果过期状态未被读取，则不会将其删除，可能导致状态不断增长
您还可以在完整快照（似乎正在发生）和后台清理（听起来像您想要的）期间激活清理。请注意，对于某些工作负载，即使启用了后台清理，后台清理的默认设置也可能不足以跟上清理状态的速度，因此可能需要进行一些调整。
顺便说一下，从Flink1.10开始，默认情况下启用后台清理。
如果这不能回答您的问题，请明确说明状态ttl是如何配置的。