我面临着Hive的问题。当我查询按日期列分区的表时，从表名称中选择count（*），其中date='2018-06-01'查询读取整个表数据并保留运行小时数，使用explain我发现配置单元没有对查询应用分区筛选器我已仔细检查表是否按desc table\u name按日期列分区。
执行引擎是spark，数据以Parquet格式存储在azure数据湖中
不过，我在数据库中有另一个表，它应用了partitionfilter，并按预期执行。
配置单元元数据是否有问题，或者是其他问题
我面临着Hive的问题。当我查询按日期列分区的表时，从表名称中选择count（*），其中date='2018-06-01'查询读取整个表数据并保留运行小时数，使用explain我发现配置单元没有对查询应用分区筛选器我已仔细检查表是否按desc table\u name按日期列分区。
执行引擎是spark，数据以Parquet格式存储在azure数据湖中
不过，我在数据库中有另一个表，它应用了partitionfilter，并按预期执行。
配置单元元数据是否有问题，或者是其他问题
1条答案
按热度按时间rvpgvaaj1#
发现此问题的原因时，配置单元没有对某些表应用分区筛选器，因为这些表已缓存。因此，当我重新启动thrift服务器时，缓存被移除，分区过滤器被应用