创建数据库spark sql

umuewwlo  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(616)

我正在使用带aws胶水目录的spark2.4.4。
在我的spark工作中,如果数据库不存在,我需要用glue创建一个数据库。我在sparksql中使用以下语句来实现这一点。

spark.sql("CREATE DATABASE IF NOT EXISTS %s".format(hiveDatabase));

它的工作原理和预期的一样 spark-shell ,在glue中创建一个数据库。但是当我使用 spark-submit ,则不创建数据库。使用spark submit时是否需要提交/刷新?
编辑我得到了不同的结果 show databasesspark-shell 以及 spark-submit :

+---------------------+
|databaseName         |
+---------------------+
|all                  |
|default              |
|hive-db              |
|navi-database-account|
|navi-par             |
|testdb               |
+---------------------+

+------------+
|databaseName|
+------------+
|default     |
+------------+

看起来spark submit正在某处创建db,但不是在glue中。

cxfofazt

cxfofazt1#

需要添加以下配置:

("spark.sql.catalogImplementation", "hive")

相关问题