我正在尝试训练一个lstm自动编码器,以减少训练数据的维数。输入的形状为(56000,45768)=>56000个样本,45个维度,768个特征。输入实际上是来自45个标记(最多)的问题的bert嵌入。
我尝试了许多不同的超参数组合,因此尝试了不同的网络大小,但我无法获得高于0.75的精度。
这是我的代码,你能看到一些改进我的结果的潜力吗?
model = Sequential()
model.add(LSTM(400, activation='relu', input_shape=(45,768), return_sequences=True))
model.add(LSTM(250, activation='relu', return_sequences=False))
model.add(RepeatVector(45))
model.add(LSTM(250, activation='relu', return_sequences=True))
model.add(LSTM(400, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(768)))
model.compile(optimizer='adam', loss='mse', metrics=["mean_squared_error", "accuracy"])
model.fit(X, X, epochs=100, batch_size=128)
暂无答案!
目前还没有任何答案,快来回答吧!