我尝试在Windows上安装Hadoop。Namenode工作正常,但数据节点工作不正常。以下错误一次又一次显示,即使尝试了几次。以下错误显示在CMD上有关dataNode:
2021-12-16 20:24:32,624 INFO checker.ThrottledAsyncChecker: Scheduling a check for [DISK]file:/C:/Users/mtalha.umair/datanode 2021-12-16 20:24:32,624 ERROR datanode.DataNode: Exception in secureMain org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated -
1. Value configured is >= to the number of configured volumes (1).
at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:176)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2799)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924) 2021-12-16 20:24:32,640 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated - 1. Value configured is >= to the number of configured volumes (1). 2021-12-16 20:24:32,640 INFO datanode.DataNode: SHUTDOWN_MSG:
我参考了许多不同的文章,但都无济于事。我尝试使用另一个版本的Hadoop,但问题仍然存在,因为我刚刚开始,我不能完全理解这个问题,因此我需要帮助
这些是我的配置
- 用于核心站点. xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 对于Map站点. xml
mapreduce.framework.name Yarn
- 用于Yarn站点. xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- 适用于hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/big-data/hadoop-3.1.3/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>datanode</value> </property> <property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>1</value> </property> <property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1条答案
按热度按时间h5qlskok1#
不幸的是,失败的原因正是信息所说的。让我试着换一种方式说。
dfs.datanode.data.dir
)文件夹数为1。您说您不允许任何数据驱动器(配置了1个驱动器,但您允许它发生故障)。这毫无意义,也是将此作为问题提出的原因。
您需要修改它,使间隙至少为1(这样您仍然可以有一个运行的数据阳极)。以下是您的选项:
dfs.datanode.failed.volumes.tolerated
设置为1。例如,将数据同时存储在C和D驱动器中。dfs.datanode.failed.volumes.tolerated
到0;并保持数据卷不变(1)