如何清理hadoop中的应用程序历史?

6ljaweal  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(966)

在Yarn上完成应用后,大量的应用历史将在Yarn上展现出来。
都在web ui中 http://localhost:8088/cluster 和命令行 yarn application -list -appStates FINISHED 我怎样才能清理这些历史?或者Yarn在哪里存储这些历史信息?
重新启动rm,nm不会清除这些历史记录。
删除本地文件系统${yarn\u log\u dir}/userlogs中的日志不会清除这些历史记录。
删除hdfs中日志的目录/文件:///tmp/logs/username/logs不会清除这些历史记录。
hadoop版本:2.7.7

6vl6ewon

6vl6ewon1#

如果启用了日志聚合,则可以设置 yarn.log-aggregation.retain-seconds 以一个合理的值(比如一天或一周,取决于你运行了多少个作业)来连续地进行作业。
否则设置 yarn.nodemanager.log.retain-seconds 以确定要保留日志的时间。
您还可以通过设置 yarn.resourcemanager.recovery.enabledfalse 在yarn-site.xml中。
有关持久性的更多信息,请参阅yarn-default.xml以获取yarn和resourcemanager restart中的所有日志配置文件。

b09cbbtk

b09cbbtk2#

哦,我找到解决办法了。 yarn resourcemanager -format-state-store 然后重新启动群集。
但还是不知道这些历史在哪里,在zk?

相关问题