PaddleNLP [Question]: 使用chatglm的多卡全参数微调是出现问题,每次运行到百分之三就停止

f3temu5u  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(33)

这个错误通常是因为您在使用概率分布时没有正确匹配输入和输出 shape 。 在 PyTorch 中,logits 是指输出的未进行 softmax 处理的概率分布,而 labels 是指实际的标签。

在您的代码中,logits 的维度是 [56, f = labels_dims[i]:252],而 labels 的维度是 [56, f = labels_dims[i]:252]。这两个维度不一致,因此会报错。请检查您的代码中是否正确计算了 logits 和 labels 的 shape。

0h4hbjxa

0h4hbjxa1#

推荐使用A100的显卡,另外检查一下您的内存和显存是否足够。

相关问题