如何基于配置创建spark连接str？

vvppvyoh 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(417)

我有以下配置：databricks runtime version 5.5 lts（包括apachespark 2.4.3、scala 2.11）
它是Spark的正确连接线吗？我从来没有创造过。

conn_str = "org.apache.spark:spark-avro_2.11:2.4.3,org.mongodb.spark:mongo-spark-connector_2.11:2.4.2"
spark = (
   SparkSession.builder
        .config("spark.jars.packages", connection_str)
        .config("spark.ui.showConsoleProgress", False)
        .getOrCreate()
)

mongodb apache-spark pyspark databricks

来源：https://stackoverflow.com/questions/63883462/how-to-create-spark-connection-str-based-on-configuration

1条答案

按热度按时间

cuxqih211#

如果您使用的是databricks平台，那么 SparkSession 已在启动群集时初始化，安装包可能太晚。最好使用创建的集群中的libraries选项卡逐个安装这些库—使用 Maven 协调要安装的部件 org.apache.spark:spark-avro_2.11:2.4.3 以及 org.mongodb.spark:mongo-spark-connector_2.11:2.4.2 分开。有关详细信息，请参阅文档。

赞(0）回复(0）举报 2021-05-27

我来回答

如何基于配置创建spark连接str？

1条答案

相关问题

热门标签

最新问答