CREATE EXTERNAL TABLE test (record string) PARTITIONED BY
(last_modified string) location '<warehouse_location>/test.db/test'
对于每个文件,将新分区添加到表中,或使用insert语句将其加载到分区中。
ALTER TABLE test ADD PARTITION (last_modified='2017-07-13 15:22')
location '<data-location>/newfile1/';
在新文件上创建一个单独的临时表,然后将数据插入分区表:
CREATE EXTERNAL TABLE tmp (record strin ) location '<new data location>'
INSERT INTO TABLE test PARTITION (
last_modified = '2017-07-13 15:22') SELECT record FROM tmp;
1条答案
按热度按时间v8wbuo2f1#
我没有遇到任何这样的功能来解决你的问题。但是,您可以尝试以下步骤,在单独的列中维护每个文件的上次修改时间:
在上创建分区表
last_modified
列。对于每个文件,将新分区添加到表中,或使用insert语句将其加载到分区中。
在新文件上创建一个单独的临时表,然后将数据插入分区表: