我想从设备存储大量的时间序列。此外，这些时间序列必须经过验证，可以由操作员修改，并且必须导出到其他系统。必须找到时间序列中的漏洞。时间序列必须在按序列号和日期范围筛选的ui中显示。我们考虑过在这个场景中使用hadoop、hbase、opentsdb和spark。你觉得怎么样？spark能否轻松连接到opentsdb？谢谢
cu6pst1q1#
看看axibase时间序列数据库，它有一个非常独特的版本控制功能，可以维护相同时间戳的值更改历史。一旦启用了每度量粒度，数据库将跟踪值修改的源、状态和时间，以进行审计跟踪或数据协调。我们有客户使用网络api从spark应用程序流式传输数据，通常是在数据通过附加元数据（aks系列标记）进行丰富后，用于下游报告。您可以使用restapi或sql从atsd查询数据。免责声明：我为axibase工作。
8i9zcol22#
opentsdb非常适合存储大量的时间序列数据。在内部，它是由hbase支持的—这意味着它必须找到一种绕过hbase限制的方法才能很好地运行。结果，时间序列的表示被高度优化并且不容易解码。另外，没有现成的连接器可以将opentsdb中的数据提取到spark中。以下github项目可能会为您提供一些指导：achak1987连接器如果您正在寻找可以帮助您处理时间序列的LIB，请查看spark ts—它还包含用于缺失数据插补的有用函数。
iq0todco3#
warp10提供了warpscript语言，可以从spark/pig/flink使用它来操纵时间序列，并通过warp10inputformat访问存储在warp10中的数据。warp10是开源的，可以在www.warp10.io免责声明：我是cityzen data的cto，warp 10的制造商。
3条答案
按热度按时间cu6pst1q1#
看看axibase时间序列数据库，它有一个非常独特的版本控制功能，可以维护相同时间戳的值更改历史。一旦启用了每度量粒度，数据库将跟踪值修改的源、状态和时间，以进行审计跟踪或数据协调。
我们有客户使用网络api从spark应用程序流式传输数据，通常是在数据通过附加元数据（aks系列标记）进行丰富后，用于下游报告。
您可以使用restapi或sql从atsd查询数据。
免责声明：我为axibase工作。
8i9zcol22#
opentsdb非常适合存储大量的时间序列数据。在内部，它是由hbase支持的—这意味着它必须找到一种绕过hbase限制的方法才能很好地运行。结果，时间序列的表示被高度优化并且不容易解码。另外，没有现成的连接器可以将opentsdb中的数据提取到spark中。
以下github项目可能会为您提供一些指导：
achak1987连接器
如果您正在寻找可以帮助您处理时间序列的LIB，请查看spark ts—它还包含用于缺失数据插补的有用函数。
iq0todco3#
warp10提供了warpscript语言，可以从spark/pig/flink使用它来操纵时间序列，并通过warp10inputformat访问存储在warp10中的数据。
warp10是开源的，可以在www.warp10.io
免责声明：我是cityzen data的cto，warp 10的制造商。