spark哈希集包含多个机器冲突

4uqofj5v  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(311)

我有以下关于Spark的任务。因此,首先,我测试元素是否属于给定的集合,如果是,我们读取一些文件。否则,我们会创建一些文件。此哈希集初始化为空。问题是我们处在分布式多核环境中。也许,两个处理器同时执行contain方法,它们都试图创建文件。我发现文件存在错误。是修复hashset的同步测试的任何建议。
这是我的密码,

if (setA.contains(elementA)) {
    // read some files
    ...
} else {
    setA.add(elementA)
    // create some files
    ...
}

谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题