aws emr不生成namenode fsimage

jgwigjjp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(458)

我们已经运行了一个3节点的aws emr集群(1个namenode,2个datanodes),观察到namenode检查点没有发生,fsimage,md5文件没有更新。由于磁盘空间不足,编辑日志堆积导致namenode失败。
hdfs版本:hadoop 2.8.3-amzn-0

  1. -rw-r--r-- 1 hdfs hdfs 62 Sep 3 12:04 fsimage_0000000000000000000.md5
  2. -rw-r--r-- 1 hdfs hdfs 317 Sep 3 12:04 fsimage_0000000000000000000
  3. -rw-r--r-- 1 hdfs hdfs 260954697 Sep 3 13:49 edits_0000000000000000001-0000000000002061850
  4. -rw-r--r-- 1 hdfs hdfs 270456683 Sep 3 14:54 edits_0000000000002061851-0000000000004196518
  5. -rw-r--r-- 1 hdfs hdfs 256666626 Sep 3 15:54 edits_0000000000004196519-0000000000006223083
  6. -rw-r--r-- 1 hdfs hdfs 256756282 Sep 3 16:54 edits_0000000000006223084-0000000000008250289
  7. -rw-r--r-- 1 hdfs hdfs 263465424 Sep 3 17:59 edits_0000000000008250290-0000000000010330235
  8. -rw-r--r-- 1 hdfs hdfs 257754598 Sep 3 19:49 edits_0000000000010330236-0000000000012365196
  9. -rw-r--r-- 1 hdfs hdfs 257361703 Sep 3 21:39 edits_0000000000012365197-0000000000014396984
  10. -rw-r--r-- 1 hdfs hdfs 258246258 Sep 3 23:29 edits_0000000000014396985-0000000000016435653
  11. -rw-r--r-- 1 hdfs hdfs 257862137 Sep 4 01:19 edits_0000000000016435654-0000000000018471306
  12. -rw-r--r-- 1 hdfs hdfs 257044520 Sep 4 03:09 edits_0000000000018471307-0000000000020496923
  13. -rw-r--r-- 1 hdfs hdfs 256987603 Sep 4 04:59 edits_0000000000020496924-0000000000022520948
  14. -rw-r--r-- 1 hdfs hdfs 254213703 Sep 4 06:44 edits_0000000000022520949-0000000000024522780
  15. -rw-r--r-- 1 hdfs hdfs 265518336 Sep 4 08:34 edits_0000000000024522781-0000000000026613243

根据hadoop 2.8.3
次要namenode或checkpointnode将在每个“dfs.namenode.checkpoint.txns”(默认值为100000)事务中创建命名空间的检查点,而不管“dfs.namenode.checkpoint.period”(默认值为3600秒)是否已过期。
但是检查点没有在namenode中发生

g9icjywg

g9icjywg1#

可以运行以下命令,使namenode作为解决方法工作:

  1. hdfs dfsadmin -safemode enter
  2. hdfs dfsadmin -saveNamespace
  3. hdfs dfsadmin -safemode leave

https://community.hortonworks.com/content/supportkb/49438/how-to-manually-checkpoint.html

相关问题