使用配置单元外部表读取多个目录

trnvg8h3  于 2021-06-28  发布在  Hive
关注(0)|答案(2)|浏览(296)

我在hdfs中有一个目录(比如/user/hduser/table1),在这个目录下有多个不同时间戳的目录,比如 /user/hduser/table1/20160912000000 , /user/hduser/table1/20160912100000 以及 /user/hduser/table1/20160912121000 如何通过一个配置单元外部表读取这三个目录下的所有文件。意味着我必须在配置单元表的位置参数中指定什么。

xdnvmnnf

xdnvmnnf1#

尝试以下代码

CREATE TABLE TABLEname  (coll INT, coll STRING, coll INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,’
LOCATION ‘/user/hduser/table1/*/*’;
ocebsuys

ocebsuys2#

我可以阅读以下设置嵌套文件夹。

set hive.mapred.supports.subdirectories=true;
set mapred.input.dir.recursive=true;

我在创建表时设置了它,然后可以从表中选择数据。位置关键字我提到如下

LOCATION '/user/hduser/table1/'

相关问题