spark-缓存一个新的数据集会导致对已经缓存的数据集的响应延迟

7jmck4yq  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(282)

我在spark中缓存了一个数据集,并根据一些过滤器定期(每秒)访问该数据集中的数据,并以毫秒为单位获取其响应。
现在,使用一个单独的线程,在预定的时间,我在一个新的Dataframe中触发了另一个不同数据集的缓存。
当第二个缓存进程启动时,我注意到从第一个缓存得到的响应有一点滞后(不是毫秒,而是在1秒多一点的时间内得到响应),而且两个缓存都非常独立。
尽管差别不大,而且只是一个响应,下一个响应又回到毫秒级,但我想了解这种情况背后的原因。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题