PySpark获取检查点目录(版本〈3.1.0)

qzlgjiam 于 2023-04-29 发布在 Spark

关注(0)|答案(2)|浏览(171)

我们可以使用下面的代码在PySpark中设置检查点目录路径：

spark.sparkContext.setCheckpointDir('/checkpoints')

因为SparkContext.getCheckpointDir()只在PySpark版本3中引入。1.0，如何使用旧版本的PySpark（如v2）获取检查点目录路径。四点三？

pyspark

来源：https://stackoverflow.com/questions/76071692/pyspark-get-checkpoint-directory-version-3-1-0

2条答案

按热度按时间

ev7lccsx1#

SparkContext.getCheckpointDir()仅在PySpark版本3中实现。1.0，但幸运的是，它已经在v2.4.3的底层Scala代码库中实现了。你可以在这里看到。
您可以使用_jsc属性访问底层sparksession（JavaSparkContext）。以下代码在2.4.5版本的pyspark REPL中工作：

>>> spark.sparkContext.setCheckpointDir('/checkpoints')
>>> sc._jsc.sc().getCheckpointDir().get()
'file:/checkpoints/1829fbb4-0b7b-44c5-b275-50276d063565'

赞(0）回复(0）举报 2023-04-29

j13ufse22#

对于旧版本，您可以从conf中获取该属性：

checkpoint_dir = sc.getConf().get("spark.checkpoint.dir")

赞(0）回复(0）举报 2023-04-29

我来回答

PySpark获取检查点目录(版本〈3.1.0)

2条答案

相关问题

热门标签

最新问答