我正在使用hortonworks环境进行大数据处理。我注意到，作为来自hive/oozie/pig等的map reduce作业的一部分，我下面的本地缓存目录被填满了，它为每个map reduce执行jar文件创建了一个文件夹。/hadoop/yarn/local/usercache/root/filecache我直接删除这些文件夹可以吗？是否有任何配置，我可以设置为删除它自动？
nkcskrwz1#
这些目录应该每600000毫秒（10分钟）自动清理一次。或者可以通过在中设置此属性来缩短此时间段 yarn-site.xml , yarn.nodemanager.localizer.cache.cleanup.interval-ms .您还可以更改此缓存目录应占用的最大大小， yarn.nodemanager.localizer.cache.target-size-mb . 默认目标大小为1024MB。如果没有作业正在运行，则可以手动删除缓存。删除缓存后重新启动nodemanager。
yarn-site.xml
yarn.nodemanager.localizer.cache.cleanup.interval-ms
yarn.nodemanager.localizer.cache.target-size-mb
1条答案
按热度按时间nkcskrwz1#
这些目录应该每600000毫秒（10分钟）自动清理一次。
或者可以通过在中设置此属性来缩短此时间段
yarn-site.xml,yarn.nodemanager.localizer.cache.cleanup.interval-ms.您还可以更改此缓存目录应占用的最大大小，
yarn.nodemanager.localizer.cache.target-size-mb. 默认目标大小为1024MB。如果没有作业正在运行，则可以手动删除缓存。删除缓存后重新启动nodemanager。