java.lang.unsupportedoperationexception

kfgdxczn  于 2021-05-27  发布在  Hadoop
关注(0)|答案(2)|浏览(913)

我在学校的一个数据库班上,我的教授让我们使用hadoopv3.2.1。在遵循youtube教程在windows上安装时,我一直停留在格式化namenode部分。以下是cmd中出现的内容:

2020-03-15 15:38:05,819 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2020-03-15 15:38:05,819 INFO util.GSet: VM type       = 64-bit
2020-03-15 15:38:05,820 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
2020-03-15 15:38:05,820 INFO util.GSet: capacity      = 2^15 = 32768 entries
2020-03-15 15:38:05,883 INFO namenode.FSImage: Allocated new BlockPoolId: BP-381120843-10.0.0.230-1584301085876
2020-03-15 15:38:05,884 ERROR namenode.NameNode: Failed to start namenode.
java.lang.UnsupportedOperationException
        at java.nio.file.Files.setPosixFilePermissions(Files.java:2044)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:452)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:591)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:613)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:188)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1206)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1649)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
2020-03-15 15:38:05,887 INFO util.ExitUtil: Exiting with status 1: java.lang.UnsupportedOperationException
2020-03-15 15:38:05,889 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at DrStrange/10.0.0.230

************************************************************/

以下是我的财产:
core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

mapred-site.xml文件

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>

hdfs-site.xml文件

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>C:\hadoop-3.2.1\data\namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>C:\hadoop-3.2.1\data\datanode</value>
  </property>
</configuration>

yarn-site.xml:

<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

我一直在学习这个教程:如何在windows上安装hadoop,直到学习到一半的时候,我才意识到它太旧了,于是我改学了这个教程:如何在windows10中安装hadoop3.2.0
另外,我不知道这是否与我目前的问题有关,所以我会这么说。当我跳到下一步并键入start all时,资源管理器和节点管理器都会出错。我想我会把它塞进一个问题。

brccelvz

brccelvz1#

众所周知,hadoop3.2.1显然不能在windows10上正常工作。我安装了3.2.0,现在正在取得进展。

khbbv19g

khbbv19g2#

以下错误是hadoop3.2.1中的一个bug。
这个问题将在下一个版本中解决。现在,您可以使用以下步骤临时修复它:
下载 hadoop-hdfs-3.2.1.jar 来自以下链接的文件。
重命名文件名 hadoop-hdfs-3.2.1.jarhadoop-hdfs-3.2.1.bak 在文件夹中 %HADOOP_HOME%\share\hadoop\hdfs 复制下载的 hadoop-hdfs-3.2.1.jar 到文件夹 %HADOOP_HOME%\share\hadoop\hdfs ###参考文献
在windows 10上安装hadoop 3.2.1单节点群集
《在windows 10上安装hadoop 3.2.1分步指南》

相关问题