以下是修改后的代码，用于计算句子和单词嵌入：

from transformers import GPT2Tokenizer, GPT2Model
import torch
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
tokenizer.pad_token = tokenizer.eos_token
model = GPT2Model.from_pretrained('gpt2')
captions = [
    "example caption",
    "example bird",
    "the bird is yellow has red wings",
    "hi",
    "very good"
]
# Tokenize and pad sequences
encoded_captions = tokenizer(
    captions,
    return_tensors='pt',
    padding=True,
    truncation=True
)
input_ids = encoded_captions['input_ids']
# Forward pass to get embeddings
with torch.no_grad():
    outputs = model(input_ids)
# Extract embeddings
word_embeddings = outputs.last_hidden_state
# Mask to ignore padding tokens
masked_word_embeddings = word_embeddings * encoded_captions.attention_mask.unsqueeze(-1).float()
# Sum pooling considering only non-padding tokens
sentence_embeddings = masked_word_embeddings.sum(dim=1)
# Normalize by the count of non-padding tokens
sentence_embeddings /= encoded_captions.attention_mask.sum(dim=1, keepdim=True).float()

字符串
一些相关事实：
1.正如你所说，单词嵌入是最后一个隐藏的输出。如果你打印输出，你会看到5个向量（句子的数量），长度为7（句子列表中的最大标记数），形状为768（模型维度）。

word_embeddings.shape
>> torch.Size([5, 7, 768])

型
这意味着有些句子有不存在的标记的嵌入，所以我们需要屏蔽输出，只考虑存在的标记
1.掩码是在单词向量中不存在的标记位置乘以零（或者任何特殊值，但零更被接受和有用，因为它使值为空）。注意掩码对于处理可变长度序列和确保填充标记不参与嵌入至关重要。

print(masked_word_embeddings)
>> tensor([[[-0.2835, -0.0469, -0.5029,  ..., -0.0525, -0.0089, -0.1395],
         [-0.2636, -0.1355, -0.4277,  ..., -0.3552,  0.0437, -0.2479],
         [ 0.0000, -0.0000,  0.0000,  ...,  0.0000, -0.0000, -0.0000],
         ...,
         [ 0.0000, -0.0000,  0.0000,  ...,  0.0000, -0.0000, -0.0000],
         [ 0.0000, -0.0000,  0.0000,  ...,  0.0000, -0.0000, -0.0000],
         [ 0.0000, -0.0000,  0.0000,  ...,  0.0000, -0.0000, -0.0000]],
...

型
1.通常情况下，句子嵌入计算为屏蔽词嵌入的总和、平均值或最大值。这取决于您的用例。

• 平均值更适合可变长度：

sentence_embeddings = masked_word_embeddings.mean(dim=1)

型

• Sum旨在对相关部分施加重要性：

sentence_embeddings = masked_word_embeddings.max(dim=1)

型
它有很多技术，这取决于嵌入如何执行你的任务。我会选择一种方法，最大化我认为相似的向量之间的余弦相似度。例如：如果总和比平均值更相似，它可能更合适。
1.此外，我建议你通过句子中的标记数量来规范化值。因此，通过这种规范化，较大的句子往往具有较低的向量值。这是为了嵌入句子中标记数量的信息。它可以防止一个句子的4个标记与整本书之间的相似度得分很高，这是没有意义的。