我在java spark代码中使用avro生成的对象。但是,当我将对象放入lambda时,它抛出序列化异常。下面是代码。注意,我的avroentity不是一个简单的pojo,而是一个嵌套的实体类。
JavaPairRDD<AvroEntity, Double> entityPairRDD = entityJavaRDD.mapToPair(new PairFunction<AvroEntity, AvroEntity, Double>() {
@Override
public Tuple2<AvroEntity, Double> call(AvroEntity avroEntity) throws Exception {
return new Tuple2<>(AvroEntity, 1.0);
}
});
然而,根据这一点https://issues.apache.org/jira/browse/avro-1502,应该从1.8.0开始进行修复。我的avro版本是1.8.2。
compile('org.apache.avro:avro:1.8.2') {
exclude group: 'org.slf4j', module: 'slf4j-log4j12'
}
暂无答案!
目前还没有任何答案,快来回答吧!