异常:在本地windows计算机中使用pyspark时,java网关进程在发送端口号之前退出

jdzmm42g  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(442)

在spark中启动spark应用程序时出现此错误。我正在使用anaconda(spyder)ide。在找到解决方案时,我非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我可以用下面的代码启动spark,但这个错误来自过去2天

spark = SparkSession \
        .builder \
        .appName("SSKafka") \
        .getOrCreate()

我试过一些方法,比如设置java\u home,spark\u home,hadoop\u home环境变量,卸载/重新安装不同的spark版本,anaconda,java不同的版本,重新启动pc spark版本:2.4.1机器-使用python 2.7和3.5的windows anaconda spyder都试过

import os
import sys

# os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.11-2.3.4'

os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[1] pyspark-shell"
os.environ['JAVA_HOME'] = "C:/Program Files/Java/jdk1.8.0_271"
os.environ['SPARK_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['HADOOP_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"

os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/spark-sql-kafka-0-10_2.11-2.4.1.jar pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/kafka-clients-2.6.0.jar pyspark-shell'

from ast import literal_eval

# initialize spark

import findspark
findspark.init()
findspark.find()

import pyspark
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("SSKafka") \
    .getOrCreate()

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题