在pyspark上运行graphframes时出错

13z8s7eq  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(396)

我尝试运行一个简单的“g=graphframe(v,e)”,其中v和e只是简单的Dataframe,并遇到以下java错误。
g=graphframe(顶点、边)回溯(最近一次调用最后一次):file“”,第1行,in file“/private/var/folders/xb/x7ld7rr52n73泷5v6svjc0gnh0000gn/t/spark-4d5114c2-d2eb-4511-bb0e-d5358d4832f6/userfiles-f1f51-5b71-4d5a-97ad-2ea5e2ba032a/graphframes泷graphframes-0.8.1-spark2.4-s泷2.11.jar/graphframes/graphframe.py”,第89行,在init文件“/usr/local/cellar/apache spark/3.0.1/libexec/python/lib/py4j-0.10.9-src.zip/py4j/java\u gateway.py”的第1305行中,在call文件“/usr/local/cellar/apache spark/3.0.1/libexec/python/pyspark/sql/utils.py”的第128行中,deco return f(*a,**kw)文件“/usr/local/cellar/apache spark/3.0.1/libexec/python/lib/py4j-0.10.9-src.zip/py4j/protocol.py”,第328行,在get\u return\u value py4j.protocol.py4jjavaerror:调用o63.creategraph时出错:java.lang.nosuchmethoderror:'scala.collection.mutable.arrayops scala.predef$.refarrayops(java.lang.object[]),位于org.graphframes.graphframe$.apply(graphframe)。scala:676)在org.graphframes.graphframepythonapi.creategraph(graphframepythonapi。scala:10)位于java.base/jdk.internal.reflect.nativemethodaccessorimpl.invoke0(本机方法)java.base/jdk.internal.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl。java:62)在java.base/jdk.internal.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.base/java.lang.reflect.method.invoke(method。java:566)在py4j.reflection.methodinvoker.invoke(methodinvoker。java:244)在py4j.reflection.reflectionengine.invoke(reflectionengine。java:357)在py4j.gateway.invoke(gateway。java:282)在py4j.commands.abstractcommand.invokemethod(abstractcommand。java:132)在py4j.commands.callcommand.execute(callcommand。java:79)在py4j.gatewayconnection.run(网关连接。java:238)在java.base/java.lang.thread.run(thread。java:834)
我试着按照许多其他线程的建议,将我的默认java版本更改为Java8,但没有任何更改。
我的python版本是3.7.7,spark版本是3.0.1。任何帮助都将不胜感激,谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题