我试图在分区表上运行insert overwrite。insert overwrite的select查询完全省略了一个分区。这是预期的行为吗？
表定义
CREATE TABLE `cities_red`(
`cityid` int,
`city` string)
PARTITIONED BY (
`state` string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
TBLPROPERTIES (
'auto.purge'='true',
'last_modified_time'='1555591782',
'transient_lastDdlTime'='1555591782');表数据
+--------------------+------------------+-------------------+--+
| cities_red.cityid | cities_red.city | cities_red.state |
+--------------------+------------------+-------------------+--+
| 13 | KARNAL | HARYANA |
| 13 | KARNAL | HARYANA |
| 1 | Nagpur | MH |
| 22 | Mumbai | MH |
| 22 | Mumbai | MH |
| 755 | BPL | MP |
| 755 | BPL | MP |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 12 | NOIDA | UP |
| 12 | NOIDA | UP |
+--------------------+------------------+-------------------+--+查询
insert overwrite table cities_red partition (state) select * from cities_red where city !='NOIDA';它不会从表中删除任何数据
insert overwrite table cities_red partition (state) select * from cities_red where city !='Mumbai';它将从表中删除预期的2行。
对于分区表，这是配置单元的预期行为吗？
1条答案
按热度按时间eqqqjvef1#
是的，这是预期的行为。
Insert overwrite table partition select ,,,只覆盖select返回的数据集中存在的分区。在您的示例分区中
state=UP有与的记录city='NOIDA'只是。过滤器where city !='NOIDA'删除整个state=UP从返回的数据集中进行分区，这就是为什么不重写它。过滤器
city !='Mumbai'不过滤整个分区，它会部分返回，这就是为什么它会被过滤数据覆盖。它按设计工作。考虑这样一个场景：当您只需要覆盖所需的分区时，这对于增量分区负载来说是很正常的。在这种情况下，您不需要接触其他分区。您需要能够正常地只覆盖所需的分区。而且不覆盖未更改的分区，恢复起来可能非常昂贵。
如果您仍然想删除分区并修改现有分区中的数据，那么您可以删除/创建表（您可能需要为此再创建一个中间表），然后将分区加载到其中。或者计算需要单独删除并执行的分区
ALTER TABLE DROP PARTITION.