这个用例可以用sparksql流和cassandra处理吗?

dy2hfwbg  于 2021-06-14  发布在  Cassandra
关注(0)|答案(1)|浏览(302)

我需要为一个商业用例做一个poc。
用例:如果存在,需要更新cassandra表中的记录。
spark流媒体支持会比较每个记录并更新现有的cassandra记录吗?
对于从kakfa主题收到的每条记录,如果我想检查和比较每条记录是否已经存在于cassandra中,如果是,则更新该记录,否则插入一条新记录。
如何使用spark结构化流媒体和cassandra实现这一点?任何片段或样本,如果你有。

ddrv8njm

ddrv8njm1#

使用spark cassandra连接器正常写入cassandra。如果行键已经存在,它将被更新,如果不存在,它将被插入。
Cassandra就是这样工作的。insert和update都执行写操作。
希望这有帮助!

相关问题