jsonpath-java.lang.nosuchfielderror:defaultreader

7jmck4yq  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(647)

我正在尝试将jayawayjsonpath用于sparkrdd操作(spark版本1.6.3)jsonpath版本2.0.0我在运行时得到以下堆栈跟踪。

  1. java.lang.NoSuchFieldError: defaultReader
  2. at com.jayway.jsonpath.spi.json.JsonSmartJsonProvider.<init>(JsonSmartJsonProvider.java:39)
  3. at com.jayway.jsonpath.internal.DefaultsImpl.jsonProvider(DefaultsImpl.java:21)
  4. at com.jayway.jsonpath.Configuration.defaultConfiguration(Configuration.java:179)
  5. at com.virtualpairprogrammers.JavaIntroduction.returnJsonData(JavaIntroduction.java:115)
  6. at com.virtualpairprogrammers.JavaIntroduction$1.call(JavaIntroduction.java:58)
  7. at com.virtualpairprogrammers.JavaIntroduction$1.call(JavaIntroduction.java:1)
  8. at org.apache.spark.api.java.JavaPairRDD$$anonfun$toScalaFunction$1.apply(JavaPairRDD.scala:1015)
  9. at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
  10. at scala.collection.Iterator$$anon$10.next(Iterator.scala:312)
  11. at scala.collection.Iterator$class.foreach(Iterator.scala:727)
  12. at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
  13. at scala.collection.generic.Growable$class.$plus$plus$eq(Growable.scala:48)
  14. at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:103)
  15. at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:47)
  16. at scala.collection.TraversableOnce$class.to(TraversableOnce.scala:273)
  17. at scala.collection.AbstractIterator.to(Iterator.scala:1157)
  18. at scala.collection.TraversableOnce$class.toBuffer(TraversableOnce.scala:265)
  19. at scala.collection.AbstractIterator.toBuffer(Iterator.scala:1157)
  20. at scala.collection.TraversableOnce$class.toArray(TraversableOnce.scala:252)
  21. at scala.collection.AbstractIterator.toArray(Iterator.scala:1157)
  22. at org.apache.spark.rdd.RDD$$anonfun$take$1$$anonfun$29.apply(RDD.scala:1335)
  23. at org.apache.spark.rdd.RDD$$anonfun$take$1$$anonfun$29.apply(RDD.scala:1335)
  24. at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1857)
  25. at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1857)
  26. at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
  27. at org.apache.spark.scheduler.Task.run(Task.scala:89)
  28. at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:227)
  29. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  30. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  31. at java.lang.Thread.run(Thread.java:748)

当我在eclipse中运行它时,只有使用jsonpath提取json数据,我才能正确地得到结果。当我使用spark submit时,我收到了上面的错误消息。
link读了它,但和我的用例没有关系。
如果有人已经面对这个问题,并修复了它,请帮助我向前迈进。
下面是我使用的代码片段,

  1. JavaRDD<Document> rdd = MongoSpark.load(jsc);
  2. JavaRDD<String> fullFile = rdd.map(new Function<Document, String>() {
  3. public String call(Document s) {
  4. String values="";
  5. Configuration conf1 = Configuration.defaultConfiguration().addOptions(Option.SUPPRESS_EXCEPTIONS);
  6. ReadContext ctx = JsonPath.using(conf1).parse(s.toJson());
  7. for (int i = 0; i < charsetNameArray.length;i++) {
  8. values=values+"|"+ctx.read("$."+charsetNameArray[i]);
  9. }
  10. return values;
  11. }
  12. });

我也尝试过从eclipse运行json路径,它对我来说很好。运行spark submit时,它失败了。
提前谢谢,谢谢

wfveoks0

wfveoks01#

我做了很多尝试,我认为jsonpath与hadoop2.7及以下版本不兼容。以下是参考链接:-参考
使用jsonflatten进行展平,然后使用rdd中的map函数将其转换为可读或可用的rdd。
下面是maven对同一类的依赖关系。

  1. <dependency>
  2. <groupId>com.github.wnameless</groupId>
  3. <artifactId>json-flattener</artifactId>
  4. <version>0.2.2</version>
  5. </dependency>

相关问题