你好吗?
我想知道是否有一种推荐的方法可以从spark对redis执行条件更新。
基本上,我想做的是:
给定一个sparkDataframe,包含列键、散列\字段、值、值\版本。对于sparkDataframe中的每一行,我想检查redis中是否存在相应的键。如果不是,则运行hset key hash \u field hash \u field+version value \u version
如果它确实存在,我只想在sparkDataframe中的版本高于redis散列字段中的版本时更新value和value版本。
我搜索过这个,发现最相似的问题是->条件redis set/只更新最新版本?
但是,这涉及到编写和运行lua脚本。虽然我对此很满意,但我想知道最好的做法是什么。有没有一种推荐的方法可以从spark执行此条件升级?如果lua真的是一条路要走,那么spark最好的方法是什么?有没有可能使用星火redis,或者我应该下一层,直接使用绝地武士来处理每一行?
提前感谢:)
暂无答案!
目前还没有任何答案,快来回答吧!