在keras中-在构建序列模型时-通常是第二维（一个在样本维度之后）-与time维度相关。这意味着，例如，如果您的数据是5-dim和(sample, time, width, length, channel)，您可以使用TimeDistributed（适用于4-dim和(sample, width, length, channel)）沿着时间维度应用卷积层（将相同的层应用于每个时间片），以获得5-d输出。
Dense的情况是，在2.0版的keras中，默认情况下，Dense仅应用于最后一个维度（例如：如果将Dense(10)应用于形状为(n, m, o, p)输入，则将得到形状为(n, m, o, 10)的输出），因此在本例中，Dense和TimeDistributed(Dense)是等效的。

B = 2 # number of batches
d_model = 8 # embedding dimension
T = 3 # number of timesteps

dense_layer = tf.keras.layers.Dense(16)
inp = np.random.randn(B, T, d_model)

# using TimeDistributed layer
inputs = tf.keras.Input(shape=(T, d_model)) # (B, T, d_model)
outputs = tf.keras.layers.TimeDistributed(dense_layer)(inputs) # (B, T, 16)
model1 = keras.Model(inputs, outputs)

otpt1 = model1(inp)

字符串
TimeDistributed层将包裹在其中的层应用于每个时间步，因此包裹在内部的dense_layer的输入形状是(B, d_model)，因此在应用dense_layer和形状(d_model, 16)的权重后，输出是(B, 16)，对所有时间步执行此操作，我们得到形状(B, T, 16)的输出。

# Without using TimeDistributed layer
inputs = tf.keras.Input(shape=(T, d_model)) # (B, T, d_model)
outputs = dense_layer(inputs) # (B, T, 16)
model2 = keras.Model(inputs, outputs)

otpt2 = model2(inp)

型
在不使用TimeDistributed的情况下，dense_layer的输入形状为(B, T, d_model)，因此权重维度为(d_model, 16)，其应用于所有批次B以给予输出形状(B, T, 16)

np.all(otpt1.numpy() == otpt2.numpy()) # True

型

• 不带TimeDistributed的Dense按Batch计算
• TimeDistributed与Dense按Timestep计算