我正在使用kinesis firehose缓冲物联网数据,并将其写入s3。firehose以以下格式将缓冲区写入s3 s3://bucket.me.com/YYYY/MM/DD/HH
上午10点59分输入的数据可能会被消防水龙带缓冲,直到上午11点才写出( s3://bucket.me.com/2017/03/09/11
).
问题是,在为雅典娜创建分区时,第10小时的分区不会包含第10小时的所有数据,因为它位于第11小时路径中。
下面的例子可以更好地说明:
iot将以下数据发送到firehose,firehose在2a将其写入 s3://bucket.me.com/2017/03/24/02/file-0000
. 文件内容如下所示:
{"id":1,"dt":"2017-03-24 01:59:40"}
{"id":2,"dt":"2017-03-24 01:59:41"}
{"id":3,"dt":"2017-03-24 01:59:42"}
然后我创建一个雅典娜表:
CREATE EXTERNAL TABLE sensor_data (
id string,
dt timestamp)
PARTITIONED BY (year int, month int, day int, hour int)
ROW FORMAT serde 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION 's3://bucket.me.com/';
ALTER TABLE sensor_data ADD PARTITION (year=2017,month=3,day=24,hour=1) location 's3://bucket.me.com/2017/03/24/01/';
ALTER TABLE sensor_data ADD PARTITION (year=2017,month=3,day=24,hour=2) location 's3://bucket.me.com/2017/03/24/02/';
当我跑的时候 select * from sensor_data where hour = 1
,我不会得到上面返回的3条记录,因为它只从为分区定义的s3路径读取 hour=1
(这3张唱片真的在 hour=2
分区)。
如何避免这个问题?
2条答案
按热度按时间ve7v8dk21#
你不能完全避免它,但多写会在适当的时间内产生更准确的结果。
nfzehxib2#
我想你应该先查询,然后再过滤
select * from sensor_data where (hour = 1 or hour = 2) and date_trunc('hour', dt.hour) = 1