基于kafka流的依赖对象之间的排序

zf2sa74q  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(345)

我正在从restfulapi读取数据,它表示依赖实体。e、 g从/学生我得到学生对象,从/老师我得到老师对象。学生已连接到教师对象(学生具有教师id)。问题是我将from/students to kafka生成students topic和from/teachers to teachers topic,但是当我尝试用kafka streams在它们之间连接时,有时student的事件在其teacher事件到达之前到来,因此我没有收到student和teacher的连接记录(由于提前到达的学生)。使用窗口不是最佳的,因为我想得到学生更新的所有时间。
我的问题是-如何同步事件以便能够解析依赖对象。
目前,我正在手动轮询api服务,并将结果生成给kafka—是否有任何方法可以使用kafka connect代替rest api作为简单的源代码?

kqhtkvqz

kqhtkvqz1#

以下方法应有帮助:
为教师主题创建一个流,因为传入的记录将是稳定的。
要处理传入的学生流,请创建 KTable 对学生来说。
在教师和学生之间执行非窗口连接。 KTable 是一个changelog流,因此所有传入的记录都将被视为插入或更新。
您可以参考此文档。

相关问题