spark配置单元:临时表在会话中消失

kx7yvsdv  于 2021-06-24  发布在  Hive
关注(0)|答案(1)|浏览(548)

我使用

hive.executeUpdate("CREATE TEMPORARY TABLE AS SELECT ...")

在Hive里从Spark。我检查所有的table

hive.showTables().show()

在以后执行的每个查询之间的会话中(都像 INSERT INTO ... SELECT ... )临时table也不可预知地被丢弃了。
这在hiveql中不会发生。
有人有类似的问题吗?

31moq8wy

31moq8wy1#

通过查看api,我认为您使用的是hortonworks spark连接器
必须在表的前面加上databaseschema.table。
或者像这样设置数据库。

hive.setDatabase("default")

那你的CTA呢

hive.executeUpdate("CREATE TEMPORARY TABLE AS SELECT ...")

例如:

val sql =  s"create temporary table $tmpTableName like $dbName.$tabName "

然后

INSERT INTO ... SELECT ...)

无论你想做什么。
问:这在hiveql中是不会发生的。有人有类似的问题吗?
在hiveql中,您将使用与预期工作相同的数据库模式。

相关问题