你好。我需要使用软标签(例如类别概率[0.4, 0.6])而不是硬标签(0或1)来训练BERT。我需要在迭代过程中这样做：首先预测一个未标记集的logits,然后将这些伪标签添加到具有软标签的训练集中，再次训练另一个模型。第二部分很容易。然而，我不确定如何用软标签手头训练BERT。
ppcbkaq51#
不，那行不通，你需要修改你的代码库来处理这种情况。在create_examples等其他期望硬标签的地方，将其改为期望一个向量。
create_examples
y1aodyip2#
即使是正常的标签也会被转换为独热向量，而不是使用概率的独热向量。
uyto3xhc3#
你的意思是，我可以在我的train.tsv和dev.tsv文件中正常输入概率而不是硬标签，程序应该能够处理它们吗？
3条答案
按热度按时间ppcbkaq51#
不，那行不通，你需要修改你的代码库来处理这种情况。在
create_examples等其他期望硬标签的地方，将其改为期望一个向量。y1aodyip2#
即使是正常的标签也会被转换为独热向量，而不是使用概率的独热向量。
uyto3xhc3#
你的意思是，我可以在我的train.tsv和dev.tsv文件中正常输入概率而不是硬标签，程序应该能够处理它们吗？