使用kafka作为热存储,mysql作为冷存储

juud5qan  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(372)

我想每秒向kafka插入大约500k个数据,然后将它们与 MySQL 每秒仅支持40k个插入/更新的数据库。
所以为了实现我的目标,我想用 KAFKA 作为一个热存储,因为我需要尽可能快地使用数据,并与多个服务共享它们,并快速进行更新,因为它不能用 MySQL 单独(我想用它作为冷库,尽可能长地存储数据并归档更改)。
这是一个关于我需要的模式:https://i.imgur.com/nyrn8zi.jpg
你知道怎么处理这个案子吗?或者用另一种方法来实现同样的目标?
我不需要代码,但需要一个资源和路径(我的主要语言是php)。

x9ybnkn6

x9ybnkn61#

kafka connect jdbc同时充当源和汇。因此,它至少可以执行插入,更新可能取决于表中的kafka消息结构/主键

相关问题