如何在spark的应用程序中使用openhashset?

qgelzfjb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

根据private[spark],我知道openhashset在spark中是私有的,但是通常情况下,当数据非常大时,我们需要一个更快的hashmap或hashset实现。如何在我自己的代码中使用这些数据结构?或者有其他替代方法吗?谢谢!

mjqavswn

mjqavswn1#

嗯,它是开源的,所以您可以分叉/复制它,重命名包以避免冲突,并删除 private[spark] 限制。当然,这取决于paul提到的特定用例。
有关法律问题,请参见此问题。

相关问题