我想对大量的客户交易数据进行分析。我们有数以百万计的事务事件,为各种实体提供了一些数量和时间戳值;
{
"txId": "tx123"
"item": "i87"
"qty": 3
"time": "2016-10-31 01:42:54"
}
我希望在日、周和滑动窗口上保持一系列聚合,例如sum qty
项目的 i87
在过去28周内成交。
这方面似乎有很多选择,包括像influxdb或opentsdb这样的时间序列数据库。然而,其中大部分似乎都是针对聚合周期短的度量和监控。这样的系统将如何处理既小又大的滚动窗口?
1条答案
按热度按时间waxmsbnn1#
无法将json发送到XDB。它使用线路协议。除非你想把json转换成这个行协议,否则在我看来,你更多的是在寻找某种elk堆栈。elasticsearch是开源和免费的,但是如果你想要身份验证(比如shield),你必须付费(或者你可以使用nginx反向代理)你可以发送json到elk,它可以自动解析字段,然后你可以对它们进行分析。