远程滚动窗口聚合-时间序列kudu vs influxdb vs opentsdb

m3eecexj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(466)

我想对大量的客户交易数据进行分析。我们有数以百万计的事务事件,为各种实体提供了一些数量和时间戳值;

{
  "txId": "tx123"
  "item": "i87"
  "qty": 3
  "time": "2016-10-31 01:42:54"
}

我希望在日、周和滑动窗口上保持一系列聚合,例如sum qty 项目的 i87 在过去28周内成交。
这方面似乎有很多选择,包括像influxdb或opentsdb这样的时间序列数据库。然而,其中大部分似乎都是针对聚合周期短的度量和监控。这样的系统将如何处理既小又大的滚动窗口?

waxmsbnn

waxmsbnn1#

无法将json发送到XDB。它使用线路协议。除非你想把json转换成这个行协议,否则在我看来,你更多的是在寻找某种elk堆栈。elasticsearch是开源和免费的,但是如果你想要身份验证(比如shield),你必须付费(或者你可以使用nginx反向代理)你可以发送json到elk,它可以自动解析字段,然后你可以对它们进行分析。

相关问题