使用spark/hive创建基于时间的事件

lh80um4z  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(140)

我们正在处理timeseries数据,需要基于timeseries值创建基于时间的事件。
下面是示例输入配置单元表。

PointId Timestamp   Value
P1  1/1/2017 0:03   3
P1  1/1/2017 0:09   3
P1  1/1/2017 0:38   3
P2  1/1/2017 0:01   5
P2  1/1/2017 0:05   5
P2  1/1/2017 0:27   21
P2  1/1/2017 0:33   5

我想根据时间戳创建事件。输出应该是这样的

PointId Start Event End Event   Value
P1  1/1/2017 0:03   1/1/2017 0:38   3
P2  1/1/2017 0:01   1/1/2017 0:05   5
P2  1/1/2017 0:05   1/1/2017 0:27   21
P2  1/1/2017 0:27   1/1/2017 0:33   5

我可以使用hive、spark core和sparksql来实现。提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题