hdfs日志文件太大

06odsfpq 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(372)

在对hdfs进行了大量的读写操作之后，（我不知道导致这个问题的确切操作）。这两个文件：dncp\u block\u verification.log.curr、dncp\u block\u verification.log.prev每个都超过200000字节。
对hdfs的什么操作可能会导致这些文件快速增长？
从互联网上我知道我可以删除hdfs和删除日志，但这不是一个好的解决方案。如何避免这个问题？非常感谢你

hadoop hdfs

来源：https://stackoverflow.com/questions/25259202/hdfs-log-file-is-too-huge

2条答案

按热度按时间

mrphzbgm1#

我的20个datanode集群也遇到了类似的情况。我看过好几篇报道说这是一个错误。我在运行hdfs2.3.x的cdh5.0.2中看到了这种行为。
由于两个dncp\u block\u验证日志，我让20个节点中的1个100%使用所有可用空间。其他节点似乎有非常典型的日志大小，我不明白为什么这个节点有问题。
我手动删除了两个文件，解决了我的问题，没有不良行为。不幸的是，我不知道一个修复或自动解决这个问题。

赞(0）回复(0）举报 2021-06-04

5f0d552i2#

块扫描仪是导致文件增长的原因。下面是一篇解释这种行为的文章的链接：http://aosabook.org/en/hdfs.html （第8.3.5节）。
HDFS2.6.0中修复了导致此问题的错误

赞(0）回复(0）举报 2021-06-04