如何基于现有的orc文件创建外部配置单元表?

xpcnnkqh  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(317)

我有一些由spark job制作的兽人档案。有什么简单的方法可以直接从这些文件创建外部表吗?

kwvwclae

kwvwclae1#

我这样做的方法是首先在spark作业本身中注册一个temp表,然后利用hivecontext的sql方法在hive中使用temp表中的数据创建一个新表。例如,如果我有一个dataframe df和hivecontext hc,一般过程是:

df.registerTempTable("my_temp_table")
hc.sql("CREATE TABLE new_table_name STORED AS ORC  AS SELECT * from my_temp_table")

相关问题