是否可以连接到postgresql数据库并从databricks笔记本将postgresql表加载到sparkdataframe

bvhaajcl  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(252)

我需要连接到postgresql数据库,在我的azure databricks笔记本(云订阅)的prem订阅中可用,并将postgresql表加载到sparkdataframe,请告诉我是否有人对其进行了操作,我知道我可以运行下面的pyspark代码来读取表中的数据,但是需要关于如何建立从我的azure databricks笔记本到postgresql db的连接的帮助。

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.jars", "/path_to_postgresDriver/postgresql-42.2.5.jar") \
    .getOrCreate()

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://localhost:5432/databasename") \
    .option("dbtable", "tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .option("driver", "org.postgresql.Driver") \
    .load()

df.printSchema()

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题