我正在考虑执行以下代码。但是,我得到一个错误,说javasparkcontext(sc)是不可序列化的。我想知道是否有任何方法可以绕过这个?
javaRdd.map(rdd -> {
List<String> data = new ArrayList<>();
ObjectMapper mapper = new ObjectMapper();
for (EntityA a : rdd) {
String json = null;
try {
json = mapper.writeValueAsString(a);
} catch (JsonProcessingException e) {
e.printStackTrace();
}
data.add(json);
}
JavaRDD<String> rddData = sc.parallelize(data);
DataFrame df = sqlContext.read().schema(schema).json(rddData);
});
暂无答案!
目前还没有任何答案,快来回答吧!