pyspark中的sparksession和sparkcontext初始化

lf3rwulv 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(683)

我想知道pyspark在scala中的等价代码。我用的是databricks。我需要和你一样的输出below:-
创建新的spark会话并输出会话id(sparksession@123d0e8)

val new_spark = spark.newSession()

**Output**

new_spark: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@123d0e8

查看sparkcontext并输出sparkcontext id(sparkcontext@2dsdas33)

new_spark.sparkContext

**Output**

org.apache.spark.SparkContext = org.apache.spark.SparkContext@2dsdas33

2条答案

sparksession可以创建为http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

>>> from pyspark.sql import SparkSession
>>> from pyspark.conf import SparkConf
>>> SparkSession.builder.config(conf=SparkConf())

或

>>> from pyspark.sql import SparkSession
>>> spark = SparkSession.builder.appName('FirstSparkApp').getOrCreate()

很相似。如果您已经有一个会话并且想要打开另一个会话，那么可以使用

my_session = spark.newSession()

print(my_session)

这将生成我认为您正在尝试创建的新会话对象

<pyspark.sql.session.SparkSession object at 0x7fc3bae3f550>
``` `spark` 会话对象是否已在运行，因为您正在使用databricks笔记本