如何从具有相似命名模式的多个配置单元表中查询数据？

lsmd5eda 于 2021-06-24 发布在 Hive

关注(0)|答案(1)|浏览(320)

这是我进入Hive的处女航。我有多个配置单元表，例如名称如下的快照：

revenue_20110131
reveue_20110228
revenue_20110331

purchases_qrt1
purchases_qrt2
purchases_qrt3
purchases_qrt4

我有很多这样的快照表。现在，我需要构建一个脚本，该脚本以表名的一部分作为参数，从所有类似的表中读取记录，并将所有这些表中的全部数据导出到单个orc文件中。
在Hive里怎么做？我不知道从哪里开始，因为我从来没有在Hive工作过。有人能帮我吗？提前谢谢，伙计们。

1条答案

如果这些表的位置中有公共的上层子目录，则可以使用上层目录创建新表，并在单选中选择所有这些表。

create table new tbl 
...
location 'upper common directory path here'

然后在选择之前添加这些设置：

set hive.mapred.supports.subdirectories=TRUE;
set mapred.input.dir.recursive=TRUE;