我正在使用nn.TransformerEncoder()执行序列分类任务，它的流水线与nn.LSTM()类似。
我已经尝试了几种时态特征融合方法：
1.选择最终输出作为整个序列的表示。
1.使用仿射变换来融合这些特征。
1.逐帧对序列进行分类，然后选取最大值作为整个序列的类别。
但是，这三种方法的准确率都很低，对4类分类的准确率只有25%，而使用带最后一个隐态的nn.LSTM，可以很容易地达到**83%**的准确率，我尝试了大量的nn.TransformerEncoder()的超参数，但准确率没有任何提高。
我现在不知道如何调整这个模型。你能给予我一些实际的建议吗？谢谢。
对于LSTM：forward()是：

def forward(self, x_in, x_lengths, apply_softmax=False):

        # Embed
        x_in = self.embeddings(x_in)

        # Feed into RNN
        out, h_n = self.LSTM(x_in) #shape of out: T*N*D

        # Gather the last relevant hidden state
        out = out[-1,:,:] # N*D

        # FC layers
        z = self.dropout(out)
        z = self.fc1(z)
        z = self.dropout(z)
        y_pred = self.fc2(z)

        if apply_softmax:
            y_pred = F.softmax(y_pred, dim=1)
        return y_pred

对于transformer：

def forward(self, x_in, x_lengths, apply_softmax=False):

        # Embed
        x_in = self.embeddings(x_in)

        # Feed into RNN
        out = self.transformer(x_in)#shape of out T*N*D

        # Gather the last relevant hidden state
        out = out[-1,:,:] # N*D

        # FC layers
        z = self.dropout(out)
        z = self.fc1(z)
        z = self.dropout(z)
        y_pred = self.fc2(z)

        if apply_softmax:
            y_pred = F.softmax(y_pred, dim=1)
        return y_pred