the-definal-guide一书中将sqlite连接到spark

9rygscc1  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(469)

我用的是jupyter笔记本。
下面是所提到的用于连接的代码 pyspark 到sqlite:

driver = "org.sqlite.JDBC"

path = "/data/flight-data/jdbc/my-sqlite.db"

url = "jdbc:sqlite:" + path

tablename = "flight_info"

dbDataFrame = spark.read.format("jdbc").option("url", url)\
.option("dbtable", tablename).option("driver", driver).load()

这会导致以下错误:

Py4JJavaError: An error occurred while calling o121.load.  
: java.lang.ClassNotFoundException: org.sqlite.JDBC

请帮我解决这个错误。

wribegjk

wribegjk1#

问题

使用JDBCAPI的spark找不到类“org.sqlite.jdbc”,因为它不在spark的类路径中。

解决方案

您可以从-->maven联机存储库下载jar文件并将其放置在 jars 文件夹。重新启动笔记本/应用程序

参考/资源

来自maven的sqlite jdbc下载链接-https://repo1.maven.org/maven2/org/xerial/sqlite-jdbc/3.28.0/sqlite-jdbc-3.28.0.jar

相关问题