我有一个时间序列Pandas数据集的列表,并对每个数据集应用tf.metas.preprocessing.timeseries_dataset_from_array
,然后使用tf.data.Dataset.from_tensor_slices
和ds.interleave(lambda x: x, cycle_length=1, num_parallel_calls=tf.data.AUTOTUNE)
将它们连接成一个数据集,这将产生一个tensorflow.Python.data.ops.dataset_ops.ParallelInterleaveDataset
类型的对象。
这似乎减缓了我的训练速度,因为在使用Map时应用Map。我如何才能更好地组合这些数据集并生成一个tf.data.Dataset
示例?
具体地说,我有对应于不同状态的单独的n-
维时间序列数据,并且希望生成如下对的尽可能多的非重叠示例:m
连续事件作为输入,后续事件作为预测,则训练输入将是所有m x n
序列,目标将是对应的1 x n
事件。
1条答案
按热度按时间bq3bfh9z1#
跟进我上面的评论;
这是一个如何转换示例然后将它们连接起来的示例。
以下是另一个示例,说明如何单独处理每个数据集,然后合并生成的数据集:
另一种方法是使用tf.data.Dataset.zip(ds 1,ds 2,ds 3),它将压缩数据集并返回具有相同元素数的单个数据集。
希望这有帮助!