如何将目录数据加载到配置单元

lsmepo6l  于 2021-06-29  发布在  Hive
关注(0)|答案(1)|浏览(400)

如何将hdfs文件加载到配置单元中。在我的项目中,它需要将hdfs文件加载到hive中。我的hdfs文件结构类似于/flume/topic/date/hour/file.hdfs,问题是如何自动加载目录数据。

kyks70gy

kyks70gy1#

  1. 1) Directory contains three files
  2. -rw-r--r-- 1 hadoop supergroup 125 2017-05-15 17:53/hallfolder/hall.csv
  3. -rw-r--r-- 1 hadoop supergroup 125 2017-05-15 17:53/hallfolder/hall1.csv
  4. -rw-r--r-- 1 hadoop supergroup 125 2017-05-15 17:54/hallfolder/hall2.csv
  5. 2) Enable this command
  6. hive > SET mapred.input.dir.recursive=true;
  7. 3) hive>
  8. hive>load data inpath '/hallfolder/*' into table alltable;

相关问题