我在ubuntuvm上通过jupyter安装了pyspark。
只有一个java版本( openjdk version "1.8.0_265"
),我可以像这样运行本地spark(v2.4.4)会话而不会出现问题:
import pyspark
from pyspark.sql import SparkSession
memory_gb = 24
conf = (
pyspark.SparkConf()
.setMaster('local[*]')
.set('spark.driver.memory', '{}g'.format(memory_gb))
)
spark = SparkSession \
.builder \
.appName("My Name") \
.config(conf=conf) \
.getOrCreate()
现在我想用 spark-nlp
. 我已经安装了 spark-nlp
使用 pip install spark-nlp
在我的Pypark所在的虚拟环境中。
然而,当我尝试使用它时,我得到了错误 Exception: Java gateway process exited before sending its port number
.
我试着按照文档中的说明来做,但没有成功。
这么做
spark = SparkSession \
.builder \
.appName("RevDNS Stats") \
.config(conf=conf) \
.config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.5")\
.getOrCreate()
只会导致上述错误。
我该怎么解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!