我试图在aws胶水上运行现有的spark(scala)代码。
此代码使用 spark.read.option("jdbc")
我已经用 spark.driver.extraClassPath
选项。
这在本地和emr上都可以很好地工作,假设我可以首先通过引导操作将驱动程序从s3复制到示例。
但是胶水的等效物是什么呢?如果我将驱动程序添加到“dependent jars”选项中,它将不起作用,并且会出现“no-suitable driver”错误,可能是因为spark自己的类加载器必须能够看到jar。
1条答案
按热度按时间5hcedyr01#
编辑您的作业,在屏幕的最后,您可以看到libraries选项。
![](https://i.stack.imgur.com/hSW7g.png)
需要一些选项,请参阅文档的最后一部分。