hadoop集群,在编辑日志中有活动备用namenode+gap

piv4azn7  于 2021-07-15  发布在  Hadoop
关注(0)|答案(1)|浏览(467)

我们有ambari集群,hdp版本 2.6.5 群集包括两个名称节点的管理(一个是活动的,另一个是备用的)
和65台数据节点机器
我们的备用名称节点没有启动,从namenode日志我们可以看到以下问题

  1. 2021-01-01 15:19:43,269 ERROR namenode.NameNode (NameNode.java:main(1783)) - Failed to start namenode.
  2. java.io.IOException: There appears to be a gap in the edit log. We expected txid 90247527115, but got txid 90247903412.
  3. at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
  4. at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:215)
  5. at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:143)
  6. at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:838)
  7. at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:693)
  8. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:289)
  9. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1073)
  10. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:723)
  11. at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:697)
  12. at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:761)
  13. at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1001)
  14. at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:985)
  15. at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1710)
  16. at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1778)

目前,活动namenode处于启动状态,而备用namenode处于关闭状态

关于

  1. java.io.IOException: There appears to be a gap in the edit log. We expected txid 90247527115, but got txid 90247903412.

解决此问题的首选解决方案是什么?

xyhw6mcr

xyhw6mcr1#

造成这种情况的原因有很多,但是,请查看本文,这应该会有所帮助。
按照文章中提到的确切顺序执行确切的步骤。
简而言之,该错误意味着namenode matadata已损坏/损坏。

相关问题