向配置单元中的外部表添加分区需要大量时间

yks3o0rb  于 2021-06-24  发布在  Hive
关注(0)|答案(1)|浏览(286)

我想知道向外部表添加分区的最佳方法是什么。我在配置单元的s3上有一个外部表,分区为vehicle=/date=/hr=
现在,新的车辆可以添加在任何时间的一天,将有车辆将没有数据,在一天中的几个小时或几天。
一些可能的解决方案-msck reapir表:需要花费大量时间-通过脚本添加分区:我可能不知道何时创建新车辆,或者车辆的哪个小时数据不存在
通常人们是如何解决向外部表添加分区的问题的

m2xkgtsf

m2xkgtsf1#

msck reapir table 这是一个正确的方法。如果运行太慢,请在修复表之前尝试关闭stats autogather:

set hive.stats.autogather=false;

您可以在恢复分区后再次启用它。
很可能你正在打Hive18743或相关的错误。对我来说,这很有帮助。

相关问题