如何执行msck修复表以仅加载特定分区

zz2j4svz  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(440)

我在awss3中有超过2个月的数据,这些数据由 day . 我想使用我创建的外部表开始使用数据。
目前,我只看到几个分区,我想确保我的元数据能够读取所有分区。我试过用 msck repair table tablename 使用 hive 在登录到emr集群的主节点之后。但是,可能是由于数据量的原因,执行该命令需要花费大量时间。
我可以做msck修复表,以便我只能加载特定的一天?做 msck 允许加载特定分区吗?

oknwwptz

oknwwptz1#

你可以用

ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCATION 'location'][, PARTITION partition_spec [LOCATION 'location'], ...];

…如hive ddl文档所述。

相关问题