我需要为一个商业用例做一个poc。
用例:如果存在,需要更新cassandra表中的记录。
spark流媒体支持会比较每个记录并更新现有的cassandra记录吗?
对于从kakfa主题收到的每条记录,如果我想检查和比较每条记录是否已经存在于cassandra中,如果是,则更新该记录,否则插入一条新记录。
如何使用spark结构化流媒体和cassandra实现这一点?任何片段或样本,如果你有。
我需要为一个商业用例做一个poc。
用例:如果存在,需要更新cassandra表中的记录。
spark流媒体支持会比较每个记录并更新现有的cassandra记录吗?
对于从kakfa主题收到的每条记录,如果我想检查和比较每条记录是否已经存在于cassandra中,如果是,则更新该记录,否则插入一条新记录。
如何使用spark结构化流媒体和cassandra实现这一点?任何片段或样本,如果你有。
1条答案
按热度按时间9wbgstp71#
使用spark cassandra连接器正常写入cassandra。如果行键已经存在,它将被更新,如果不存在,它将被插入。
Cassandra就是这样工作的。insert和update都执行写操作。
希望这有帮助!