pyspark 如何在Python中更改spark配置

jyztefdp 于 2022-12-17 发布在 Spark

关注(0)|答案(1)|浏览(181)

下面是我的python代码

spark = SparkSession.builder.appName('CD6').config('spark.ui.port','9999').enableHiveSupport().getOrCreate()

我想在spark配置中将以下属性修改为false。
如何使用spark session命令更改它们？

spark.sql.hive.convertMetastoreOrc=false
spark.sql.hive.convertMetastoreParquet=false

我尝试向.config添加属性;但它出错了。

1条答案

您可以设置spark配置属性如下：

spark.conf.set("spark.sql.<name-of-property>", <value>)

在您情况下，它将是：

spark.conf.set("spark.sql.hive.convertMetastoreOrc",False)
spark.conf.set("spark.sql.hive.convertMetastoreParquet", False)