avro生成的对象可序列化问题

k7fdbhmy  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(325)

我在java spark代码中使用avro生成的对象。但是,当我将对象放入lambda时,它抛出序列化异常。下面是代码。注意,我的avroentity不是一个简单的pojo,而是一个嵌套的实体类。

JavaPairRDD<AvroEntity, Double> entityPairRDD = entityJavaRDD.mapToPair(new PairFunction<AvroEntity, AvroEntity, Double>() {
            @Override
            public Tuple2<AvroEntity, Double> call(AvroEntity avroEntity) throws Exception {
                return new Tuple2<>(AvroEntity, 1.0);
            }
        });

然而,根据这一点https://issues.apache.org/jira/browse/avro-1502,应该从1.8.0开始进行修复。我的avro版本是1.8.2。

compile('org.apache.avro:avro:1.8.2') {
             exclude group: 'org.slf4j', module: 'slf4j-log4j12' 
    }

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题