我们有一套设备,所有的都有传感器。所有设备都有一些共同的传感器,但有些设备有额外的传感器。每个传感器都有不同的离散化水平,有些传感器有时变化很快,有时一段时间内不会变化。例如,我们有devicea,并且有一个形式的数据包流(null表示值不变):
Timestamp, Temp, Latitude, Longitude, Speed...
111, 20, 54.111, 23.111, 10
112, 20, NULL, NULL, 13
113, 20, NULL, 23.112, 15
和设备B:
Timestamp, Temp, Latitude, Longitude, Speed..., AdditionalSensor
111, 24, 54.111, 23.121, 10 ... 1
112, 23, 55.111, 23.121, 13 ... 2
113, 23, 55.111, 23.122, 15 ... 1
一段时间后,新的传感器可以添加到一些设备。每个传感器可以是任何数字类型(int32、uint8、float32)
之后将数据进行计算:dau、mau、保留率、gps坐标聚类等。
我们可以简单地创建一些表:
CREATE TABLE Sensors
(
Date Date,
Id FixedString(16),
DeviceNumber FixedString(16),
TimeUtc DateTime,
DeviceTime DateTime,
Version Int32,
Mileage Int32,
Longitude Float64,
Latitude Float64,
AccelX Float64,
AccelY Float64,
AccelZ Float64
...
) ENGINE = MergeTree(Date, (DeviceNumber, TimeUtc), 8192);
但这里有两个问题:不支持一组不同的传感器,有时在没有变化的情况下,有些传感器的值是空值,最好在时间戳之前看到最后一个非空值。
我们可以通过创建一个包含以下字段的表来解决第一个问题:sensorname、timestamp、date、value。但是如何选择正确的类型呢?我们应该为不同的类型使用不同的表格吗?可能我们需要使用石墨发动机,不幸的是,我没有任何经验。所以任何帮助都是非常感谢的。这将是伟大的,有可能只保持任何传感器的变化值。
更新
我找到了一种处理空值的方法。我们可以使用“anylast”函数为列请求最后接收的值:
SELECT anyLast(Lights) FROM test where TimeUtc <= toDateTime('2017-11-07 11:13:59');
不幸的是,我们不能使用某种重叠的窗口函数(clickhouse中不支持它们)来填充所有缺少的值。所以在可空字段的情况下,聚合函数将只使用非空值,而在不可空字段的情况下,将使用包括零值在内的所有值,这两种方法都是不正确的。一种解决方法是在插入之前填充空值,对行中的所有空值使用select with anylast values。
1条答案
按热度按时间jckbn6z71#
你可以像使用时间序列数据库一样使用clickhouse。
表定义限制了您使用动态度量。这就是为什么要处理空值。
您可以将此表用于传感器值:
这里我们加载设备a的传感器值:
查询设备临时数据:
请勾选此完整答案以获取详细用法。