我有 spark.history.fs.cleaner.enabled = true 对于我的spark2和spark配置。它可以保持/spark history/clean，但是不能为/spark2 history做任何事情。你有没有想过为什么它不起作用？
spark.history.fs.cleaner.enabled = true
oyt4ldly1#
spark.history.fs.cleaner.enabled spark属性控制定期清理磁盘上事件日志的任务。你的问题是 spark.history.fs.cleaner=enabled 所以我认为问题在于 = 性格。其他的 spark.history.fs.cleaner.interval Spark特性（带 1d 默认值）控制清理器检查要删除的事件日志的频率。确保足够频繁。
spark.history.fs.cleaner.enabled
spark.history.fs.cleaner=enabled
=
spark.history.fs.cleaner.interval
1d
1条答案
按热度按时间oyt4ldly1#
spark.history.fs.cleaner.enabledspark属性控制定期清理磁盘上事件日志的任务。你的问题是
spark.history.fs.cleaner=enabled所以我认为问题在于=性格。其他的
spark.history.fs.cleaner.intervalSpark特性（带1d默认值）控制清理器检查要删除的事件日志的频率。确保足够频繁。