在Yarn上完成应用后,大量的应用历史将在Yarn上展现出来。
都在web ui中 http://localhost:8088/cluster
和命令行 yarn application -list -appStates FINISHED
我怎样才能清理这些历史?或者Yarn在哪里存储这些历史信息?
重新启动rm,nm不会清除这些历史记录。
删除本地文件系统${yarn\u log\u dir}/userlogs中的日志不会清除这些历史记录。
删除hdfs中日志的目录/文件:///tmp/logs/username/logs不会清除这些历史记录。
hadoop版本:2.7.7
2条答案
按热度按时间6vl6ewon1#
如果启用了日志聚合,则可以设置
yarn.log-aggregation.retain-seconds
以一个合理的值(比如一天或一周,取决于你运行了多少个作业)来连续地进行作业。否则设置
yarn.nodemanager.log.retain-seconds
以确定要保留日志的时间。您还可以通过设置
yarn.resourcemanager.recovery.enabled
至false
在yarn-site.xml中。有关持久性的更多信息,请参阅yarn-default.xml以获取yarn和resourcemanager restart中的所有日志配置文件。
b09cbbtk2#
哦,我找到解决办法了。
yarn resourcemanager -format-state-store
然后重新启动群集。但还是不知道这些历史在哪里,在zk?