我们有一个apachebeam作业,它从kafka读取数据并写入es。如果某个东西(乐观锁定)失败了,它会将事件置于死信主题中,除了rocksdb检查点会增长到现在的1gb之外,其他一切都会顺利运行。
有没有办法告诉rocks db在一段时间后放弃状态大小?
kafka --> ESInsert-->Notify
| |
-------------------
我们没有任何状态可存储..我们所需要的是,如果消息处理成功并提交了偏移量,则不再需要该消息。
暂无答案!
目前还没有任何答案,快来回答吧!