数据节点容量为0kb

doinxwow  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(253)

我想用hadoop把我的手弄脏。我的问题可能很简单,请耐心听我说。
我正在阅读hadoop:权威指南和天气数据教程。将数据复制到hdfs时,出现以下错误:

13/09/02 16:34:35 ERROR hdfs.DFSClient: Failed to close file /user/bhushan/gz/home/bhushan/ncdc_data/ftp3.ncdc.noaa.gov/pub/data/noaa/1901.gz
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/bhushan/gz/home/bhushan/ncdc_data/ftp3.ncdc.noaa.gov/pub/data/noaa/1901.gz could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
    at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

我的设置肯定有问题。当我看到 report ,这是我得到的:

bhushan@ubuntu:~/Documents/hadoop-1.2.1/bin$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: �%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 0 (0 total, 0 dead)

3个配置文件如下(均按本书):
hdfs-site.xml:

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

core-site.xml:

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

mapred-site.xml:

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>

我格式化了好几次hdfs,但都没用。
我需要明确指定hdfs大小吗?书中写道:
datanodes不参与初始格式化过程,因为namenode管理文件系统的所有元数据,datanodes可以动态地加入或离开集群。出于同样的原因,您不需要说明要创建多大的文件系统,因为这是由集群中的数据节点的数量决定的,在文件系统格式化后很长一段时间内,数据节点的数量可以根据需要增加。

r1zk6ea1

r1zk6ea11#

我认为您的datanode进程没有运行。我猜你在研究一个伪集群。运行“jps”命令,确保datanode进程正在运行并持续4到5分钟。如果datanode正在运行或在几分钟内关闭,则配置中会出现一些问题。您可以尝试以下解决方案。
停止群集。删除datanode持久性目录。您必须使用hdfs-site.xml中的“dfs.data.dir”属性对其进行了配置。如果您还没有配置,那么它将使用linux用户临时目录。找到该目录并删除。然后再次启动群集。再次尝试复制该文件,它应该可以工作。

相关问题