如何提高我的lstm自动编码器的精度?

a64a0gku  于 2021-09-29  发布在  Java
关注(0)|答案(0)|浏览(206)

我正在尝试训练一个lstm自动编码器,以减少训练数据的维数。输入的形状为(56000,45768)=>56000个样本,45个维度,768个特征。输入实际上是来自45个标记(最多)的问题的bert嵌入。
我尝试了许多不同的超参数组合,因此尝试了不同的网络大小,但我无法获得高于0.75的精度。
这是我的代码,你能看到一些改进我的结果的潜力吗?

model = Sequential()
model.add(LSTM(400, activation='relu', input_shape=(45,768), return_sequences=True))
model.add(LSTM(250, activation='relu', return_sequences=False))
model.add(RepeatVector(45))
model.add(LSTM(250, activation='relu', return_sequences=True))
model.add(LSTM(400, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(768)))
model.compile(optimizer='adam', loss='mse', metrics=["mean_squared_error", "accuracy"])

model.fit(X, X, epochs=100, batch_size=128)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题