我有一份工作,它的输出格式是 SequenceFileOuputFormat
.
我将输出键和值类设置为:
conf.setOutputKeyClass(IntWritable.class);
conf.setOutputValueClass(SplitInfo.class);
这个 SplitInfo
班级 implements Serializable,Writable
我设置了 io.serializations
财产如下:
conf.set("io.serializations","org.apache.hadoop.io.serializer.JavaSerialization,"
+ "org.apache.hadoop.io.serializer.WritableSerialization");
但是,在reducer方面,我得到了一个错误,告诉我hadoop找不到序列化程序:
java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:961)
at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:892)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:393)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:354)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:476)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getRecordWriter(SequenceFileOutputFormat.java:61)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:569)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:638)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
有人能帮忙吗?
2条答案
按热度按时间kg7wmglp1#
我觉得你在做一些你不需要做的事。您的输出值只需要实现可写接口,您只需设置输出格式。
如果您想使用一个不同的序列化框架,那么您只能使用“io.serializations”配置,而这看起来并不是您所需要的。
lhcgjxsq2#
问题是我犯了一个愚蠢的错误:我没有更新jar。因此,基本上splitinfo并没有在旧的(正在使用的)jar中实现可写接口。
一般来说,op中指定的错误的根本原因是hadoop找不到要序列化的特定类型的序列化程序(直接或间接地,例如通过将该类型用作输出键/值)。hadoop找不到序列化程序,原因有两个:
您的类型不可序列化(即,它不实现可写或可序列化)
对于您的类型实现的序列化类型,hadoop没有可用的序列化程序(例如:您的类型实现可写,但hadoop出于某种原因无法使用
org.apache.hadoop.io.serializer.WritableSerialization
类)