在spark中启动spark应用程序时出现此错误。我正在使用anaconda(spyder)ide。在找到解决方案时,我非常沮丧,但仍然没有获得任何成功。请帮助。早些时候,我可以用下面的代码启动spark,但这个错误来自过去2天
spark = SparkSession \
.builder \
.appName("SSKafka") \
.getOrCreate()
我试过一些方法,比如设置java\u home,spark\u home,hadoop\u home环境变量,卸载/重新安装不同的spark版本,anaconda,java不同的版本,重新启动pc spark版本:2.4.1机器-使用python 2.7和3.5的windows anaconda spyder都试过
import os
import sys
# os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.11-2.3.4'
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[1] pyspark-shell"
os.environ['JAVA_HOME'] = "C:/Program Files/Java/jdk1.8.0_271"
os.environ['SPARK_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['HADOOP_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/spark-sql-kafka-0-10_2.11-2.4.1.jar pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/kafka-clients-2.6.0.jar pyspark-shell'
from ast import literal_eval
# initialize spark
import findspark
findspark.init()
findspark.find()
import pyspark
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("SSKafka") \
.getOrCreate()
暂无答案!
目前还没有任何答案,快来回答吧!