在airflow中清理xcom表的最好方法是什么?这是在docker中与postgres db一起运行的。
我试着用查询(从xcom删除)删除一些数据,并尝试运行这个引用:https://cloud.google.com/composer/docs/cleanup-airflow-database,但它不起作用,xcom表大小仍然没有减少
与这种情况相关,它占用了我的主机服务器上的大量存储空间
版本I用途:气流1.10.3
的数据
在airflow中清理xcom表的最好方法是什么?这是在docker中与postgres db一起运行的。
我试着用查询(从xcom删除)删除一些数据,并尝试运行这个引用:https://cloud.google.com/composer/docs/cleanup-airflow-database,但它不起作用,xcom表大小仍然没有减少
与这种情况相关,它占用了我的主机服务器上的大量存储空间
版本I用途:气流1.10.3
的数据
2条答案
按热度按时间qjp7pelc1#
如果您可以直接访问元存储,则可以执行以下查询:
字符串
XCom表包含一个时间戳,您可以使用它来保留最近的XCom。例如,此查询删除所有超过14天的XCom:
型
如果您不能直接访问元存储区,则可以创建一个DAG来清理元存储区中的对象。是否按计划运行此操作以定期清理对象,或者不按计划运行并在需要清理数据库时运行此操作,由您自己决定:
型
XCom对象有几个属性可以过滤,例如
dag_id
:型
uujelgoq2#
字符串
执行查询后,从主机运行
VACUUM FULL;
的数据