这真的很有趣！

你正在使用的库是用来进行分析的吗？我不熟悉你所调用的任何功能。

我有一些想法：

1. 对于其他查询的结果如何？它们大多数时候是有意义的，还是像“编码”一样奇怪？
2. “编码”的嵌入是与CLS、SEP或“编码”令牌相对应的嵌入吗？当查询被分词成多个子词时，例如稻草、##莓果，你是如何处理这种情况的？

这个真的很有趣！
你正在使用的库进行分析吗？我不熟悉你调用的任何功能。
我有一些想法：

1. 其他查询的结果如何？它们大多数时候是有意义的，还是像“编码”一样奇怪？
2. “编码”的嵌入是与CLS、SEP或“编码”令牌相对应的嵌入吗？当查询被分词成多个子词时，例如稻草、##莓果，你是如何处理这种情况的？
   @hsm207 我正在使用HuggingFace的预训练BERT模型。

def get_embeddings_concat_last_4(doc):
    indexed_tokens = tokenizer.convert_tokens_to_ids(doc)
    segments_ids = [1] * len(doc)

    tokens_tensor = torch.tensor([indexed_tokens])
    segments_tensors = torch.tensor([segments_ids])

    with torch.no_grad():
        encoded_layers, _ = model(tokens_tensor, segments_tensors)  

        token_embeddings = torch.stack(encoded_layers, dim=0)
        token_embeddings = torch.squeeze(token_embeddings, dim=1)
        token_embeddings = token_embeddings.permute(1,0,2)

    token_vecs_cat = []
    for token in token_embeddings:
        cat_vec = torch.cat((token[-1], token[-2], token[-3], token[-4]), dim=0)
        token_vecs_cat.append(cat_vec)
    return token_vecs_cat

我正在进行词级别匹配。当整个句子作为输入传递给模型时，生成令牌嵌入。

1. 对于其他查询，它运行良好。对于编码，它会出错。吸烟似乎与许多不相关的术语有很好的匹配。
2. 嵌入是通过连接最后4层的隐藏状态来构建的。
   到目前为止，我还没有将词片组合在一起。我会研究这个问题。但在目前的情况下，编码和谋杀没有被破坏，但仍然具有很高的相似性。

如果大多数查询运行正常，那么我会认为这是随机性的结果。
作为基线，尝试将你的方法应用于非上下文词嵌入(如word2vec)并查看是否会得到同样多的奇怪结果。
另一个想法是，你也可以考虑在前N个相似词上应用一些启发式方法作为后处理步骤，以消除明显“错误”的词。这通常用于类比任务。要了解这可能是什么样子，你可以从听 this 播客开始。