hadoop 错误数据节点,数据节点:secureMain中出现异常

w1jd8yoj  于 2023-01-04  发布在  Hadoop
关注(0)|答案(1)|浏览(311)

我尝试在Windows上安装Hadoop。Namenode工作正常,但数据节点工作不正常。以下错误一次又一次显示,即使尝试了几次。以下错误显示在CMD上有关dataNode:

2021-12-16 20:24:32,624 INFO checker.ThrottledAsyncChecker: Scheduling a check for [DISK]file:/C:/Users/mtalha.umair/datanode 2021-12-16 20:24:32,624 ERROR datanode.DataNode: Exception in secureMain org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated -
1. Value configured is >= to the number of configured volumes (1).
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:176)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2799)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924) 2021-12-16 20:24:32,640 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated - 1. Value configured is >= to the number of configured volumes (1). 2021-12-16 20:24:32,640 INFO datanode.DataNode: SHUTDOWN_MSG:

我参考了许多不同的文章,但都无济于事。我尝试使用另一个版本的Hadoop,但问题仍然存在,因为我刚刚开始,我不能完全理解这个问题,因此我需要帮助
这些是我的配置

  • 用于核心站点. xml
<configuration>  
  <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value>  
  </property> 
</configuration>
  • 对于Map站点. xml

mapreduce.framework.name Yarn

  • 用于Yarn站点. xml
<configuration>  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>  
  </property>  
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  </property> 
 </configuration>
  • 适用于hdfs-site.xml
<configuration>

   <property>
     <name>dfs.namenode.name.dir</name>
     <value>/D:/big-data/hadoop-3.1.3/data/namenode</value>    
  </property>    
  <property>
     <name>dfs.datanode.data.dir</name>
     <value>datanode</value>    </property>    <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>1</value> </property>    <property>
     <name>dfs.replication</name>
     <value>1</value>    
  </property>
</configuration>
h5qlskok

h5qlskok1#

不幸的是,失败的原因正是信息所说的。让我试着换一种方式说。

  • 第一个月
  • 您配置的(dfs.datanode.data.dir)文件夹数为1。

您说您不允许任何数据驱动器(配置了1个驱动器,但您允许它发生故障)。这毫无意义,也是将此作为问题提出的原因。
您需要修改它,使间隙至少为1(这样您仍然可以有一个运行的数据阳极)。以下是您的选项:

  • 配置更多数据卷(2),将dfs.datanode.failed.volumes.tolerated设置为1。例如,将数据同时存储在C和D驱动器中。
  • dfs.datanode.failed.volumes.tolerated到0;并保持数据卷不变(1)

相关问题