在hadoop的数据节点中,总是存在一个块文件,其中包含数据的原始字节,还有一个元数据文件,其中包含生成的戳记和 .meta
作为延伸。
我试着用vi打开元数据,它看起来像是乱七八糟的内容。我假设它是某种序列化的二进制格式。我看了一下hdfs的源代码 org.apache.hadoop.hdfs.server.datanode.BlockMetadataHeader.readHeader
是最有可能读取元数据的方法。
我在本地下载了一个元文件,并在eclipse中编写了一些代码。
package com.bw;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import org.apache.hadoop.hdfs.server.datanode.BlockMetadataHeader;
public class Test {
public static void main(String[] args) {
DataInputStream input = null;
BlockMetadataHeader header = null;
try {
input = new DataInputStream(
new FileInputStream("C:/Users/bw/Desktop/blk_1116668343556322736_1551688.meta"));
} catch (FileNotFoundException e) {
e.printStackTrace();
}
try {
BlockMetadataHeader.readHeader(input);
} catch (IOException e) {
e.printStackTrace();
}
System.out.println(header.getChecksum());
}
}
但是,语法是正确的,但是它错误了,出现了以下消息。
java.io.IOException: Could not create DataChecksum of type 2 with bytesPerChecksum 512
at org.apache.hadoop.util.DataChecksum.newDataChecksum(DataChecksum.java:86)
at org.apache.hadoop.hdfs.server.datanode.BlockMetadataHeader.readHeader(BlockMetadataHeader.java:100)
at org.apache.hadoop.hdfs.server.datanode.BlockMetadataHeader.readHeader(BlockMetadataHeader.java:75)
at com.bwang.Test.main(Test.java:27)
Exception in thread "main" java.lang.NullPointerException
at com.bwang.Test.main(Test.java:32)
我搜索错误,几乎找不到任何有用的资源。有谁能帮我读取块元数据文件的元数据吗?
毕竟,更新是元文件版本和maven-hadoop版本之间的不匹配。
# hadoop version
Hadoop 2.0.0-cdh4.6.0
然后我将maven pom文件更改为以下内容,它成功了
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.7.0_05</version>
<scope>system</scope>
<systemPath>C:\Program Files\Java\jdk1.7.0_55\lib\tools.jar</systemPath>
</dependency>
</dependencies>
1条答案
按热度按时间4xy9mtcn1#
可能是因为您正在对更高版本的元数据文件使用hadoop pre-0.23.0库吗?
类型2是3年前作为hadoop-7443的一部分在datachecksum中引入的
http://svn.apache.org/viewvc/hadoop/common/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/util/datachecksum.java?r1=1146111&r2=1146300.