长时间运行进程的spark事件日志

yebdmbv4  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(241)

我运行了一个很长的spark进程,可以看到生成的事件日志占用了大量空间。当我调查日志时,除了常规作业、阶段、任务事件日志之外,我还可以看到几个类似的日志

  1. {"Event":"SparkListenerUnpersistRDD","RDD ID":415}.

我确定没有手册 unPesistRDD 调用存在,但我仍然可以看到许多这样生成的日志。
有什么方法可以让我失去能力吗 unPersistRDD 事件日志?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题