pyspark-upsample/ressample时间序列数据

kmbjn2e3 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(408)

是否有一种有效的方法对频率在13-15分钟到15分钟之间的数据进行上采样/重采样。我有多个 id 200米以上的排。

dataframe=spark.createDataFrame([("J1", "2019-12-29 12:07:38", 100), ("J1", "2019-12-29 12:24:25", 200), 
                          ("J1", "2019-12-29 12:37:58", 100), ("J8", "2020-09-09 13:06:36", 300), 
                          ("J8", "2020-09-09 13:21:37", 200), ("J8", "2020-09-09 13:36:38", 400)], 
                          ["id", "date_time", "some_value"]).show()

+---+-------------------+----------+
| id|               date|some_value|
+---+-------------------+----------+
| J1|2019-12-29 12:07:38|       100|
| J1|2019-12-29 12:24:25|       200|
| J1|2019-12-29 12:37:58|       100|
| J8|2020-09-09 13:06:36|       300|
| J8|2020-09-09 13:21:37|       200|
| J8|2020-09-09 13:36:38|       400|
+---+-------------------+----------+

所需Dataframe：

+---+-------------------+----------+
| id|               date|some_value|
+---+-------------------+----------+
| J1|2019-12-29 12:15:00|       100|
| J1|2019-12-29 12:30:00|       200|
| J1|2019-12-29 12:45:00|       100|
| J8|2020-09-09 13:00:00|       300|
| J8|2020-09-09 13:15:00|       200|
| J8|2020-09-09 13:30:00|       400|
+---+-------------------+----------+

python apache-spark pyspark DateTime

来源：https://stackoverflow.com/questions/63818647/pyspark-upsample-resample-time-series-data

1条答案

按热度按时间

ivqmmu1c1#

有一个函数 window 为了这个。它同时产生了 start 以及 end . 您可能需要应用另一个函数来选择最近的。

from pyspark.sql import functions as F

df.withColumn("date_time", F.window("date_time", "15 minutes")["end"]).show()
+---+-------------------+----------+
| id|          date_time|some_value|
+---+-------------------+----------+
| J1|2019-12-29 12:15:00|       100|
| J1|2019-12-29 12:30:00|       200|
| J1|2019-12-29 12:45:00|       100|
| J8|2020-09-09 13:15:00|       300|
| J8|2020-09-09 13:30:00|       200|
| J8|2020-09-09 13:45:00|       400|
+---+-------------------+----------+

赞(0）回复(0）举报 2021-05-27

我来回答

pyspark-upsample/ressample时间序列数据

1条答案

相关问题

热门标签

最新问答