我有一个固定长度的二进制文件。记录类似于:
[Field1:int, Field2:double, Field3: int, ....]
如何使此文件成为map reduce作业的输入?我需要写我的自定义输入格式吗?有人能举个例子吗?谢谢
doinxwow1#
我发现存在一个名为FixedLengthinInputFormat的类!效果很好!我可以把唱片的长度传给它。Map器接收一个byteswritable(字节数组的一种)作为输入值,而i只是将其反序列化为一个对象。https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/fixedlengthinputformat.html
1条答案
按热度按时间doinxwow1#
我发现存在一个名为FixedLengthinInputFormat的类!效果很好!我可以把唱片的长度传给它。Map器接收一个byteswritable(字节数组的一种)作为输入值,而i只是将其反序列化为一个对象。
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/fixedlengthinputformat.html