spark缓存大小不断增加

kq0g1dla  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(488)

我有以下代码,其中:
我在开始流之前缓存Dataframe
30分钟后,我取消持久化并再次缓存Dataframe。
第1部分)

  1. var df = Data.init()
  2. df.cache()
  3. var currTime = LocalDateTime.now()
  4. var cacheClearTime = currTime.plusMinutes(30 minutes)

第2部分)

  1. finalStream.foreachRDD(rdd => if (rdd.take(1).length > 0) {
  2. val SR = rdd.map { sr => sr.toString }
  3. //Cache
  4. currTime = LocalDateTime.now()
  5. val dateDiff = cacheClearTime.isBefore(currTime)
  6. if (dateDiff) {
  7. df.unpersist(true)
  8. df = Data.init()
  9. df.cache()
  10. currTime = LocalDateTime.now()
  11. cacheClearTime = currTime.plusMinutes(30 minutes)
  12. }

缓存的初始大小为25 mb,20分钟后变为10倍(250 mb)。为什么会这样?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题