自定义二进制文件-从hadoop读取

wztqucjr  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(373)

我有一个固定长度的二进制文件。记录类似于:

[Field1:int, Field2:double, Field3: int, ....]

如何使此文件成为map reduce作业的输入?我需要写我的自定义输入格式吗?有人能举个例子吗?
谢谢

doinxwow

doinxwow1#

我发现存在一个名为FixedLengthinInputFormat的类!效果很好!我可以把唱片的长度传给它。Map器接收一个byteswritable(字节数组的一种)作为输入值,而i只是将其反序列化为一个对象。
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/fixedlengthinputformat.html

相关问题