有没有办法在javardd.map(rdd->{})中使用javasparkcontext?

g6ll5ycj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(216)

我正在考虑执行以下代码。但是,我得到一个错误,说javasparkcontext(sc)是不可序列化的。我想知道是否有任何方法可以绕过这个?

javaRdd.map(rdd -> {
        List<String> data = new ArrayList<>();
                    ObjectMapper mapper = new ObjectMapper();
                    for (EntityA a : rdd) {
                        String json = null;
                        try {
                            json = mapper.writeValueAsString(a);
                        } catch (JsonProcessingException e) {
                            e.printStackTrace();
                        }
                        data.add(json);
                    }
                    JavaRDD<String> rddData = sc.parallelize(data);
                    DataFrame df = sqlContext.read().schema(schema).json(rddData);
   });

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题