如何在pyspark中设置spark.executor.plugins

mbjcgjjk 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(524)

我有一个python代码，其中有一些rdd函数，我想在多个执行器中分发。
我希望能够在每个执行器上执行一些python代码（init logger方法），然后再运行稀疏的代码。我阅读并发现在创建spark会话时提供spark.executor.plugins是可能的，但是找不到任何关于如何将其与pythonsparkapi（pyspark）结合使用的文档。
非常感谢任何指导！使用pyspark 2.4.4版本

python apache-spark pyspark python-2.7

来源：https://stackoverflow.com/questions/62708389/how-can-i-set-spark-executor-plugins-in-pyspark

1条答案

按热度按时间

jmp7cifd1#

我想这就是你要找的…你可以用 spark.executor.plugins 功能。

spark=SparkConf()
      .setMaster("local")
      .setAppName("test")
      .set("spark.executor.plugins", "")

附上供参考的屏幕截图：

赞(0）回复(0）举报 2021-05-27

我来回答

如何在pyspark中设置spark.executor.plugins

1条答案

相关问题

热门标签

最新问答