我运行了一个很长的spark进程,可以看到生成的事件日志占用了大量空间。当我调查日志时,除了常规作业、阶段、任务事件日志之外,我还可以看到几个类似的日志
{"Event":"SparkListenerUnpersistRDD","RDD ID":415}.
我确定没有手册 unPesistRDD
调用存在,但我仍然可以看到许多这样生成的日志。
有什么方法可以让我失去能力吗 unPersistRDD
事件日志?
我运行了一个很长的spark进程,可以看到生成的事件日志占用了大量空间。当我调查日志时,除了常规作业、阶段、任务事件日志之外,我还可以看到几个类似的日志
{"Event":"SparkListenerUnpersistRDD","RDD ID":415}.
我确定没有手册 unPesistRDD
调用存在,但我仍然可以看到许多这样生成的日志。
有什么方法可以让我失去能力吗 unPersistRDD
事件日志?
暂无答案!
目前还没有任何答案,快来回答吧!