我有一个航班数据集，其中一列是 aircraft 一个是给 Flight_ID . 每个航班包含1500行和75列的数组，对应于特定时间段内来自飞机的传感器值。
我正在训练一个lstm自动编码器，把每一次飞行都输入到模型中，这在spark的32个执行器集群上运行。
有没有一种方法可以在训练之前对Dataframe进行分区/存储，以便执行者使用包含一个Dataframe的分区来训练模型 aircraft 按时间顺序排列？
谢谢！