我使用来自fingpt benckmark的代码来评估我的peft模型在数据集：fpb/fiqa/tfns上的表现。然而，推理速度非常慢，增加批处理大小并不能解决这个问题。似乎当我增加批处理大小时，每次迭代的推理速度也会相应地增加。请问您能帮助解决这个问题吗？
xvw2m8pv1#
你正在使用哪个GPU设备？
afdcj2ne2#
我正在使用两张RTX 3090显卡测试模型。
vx6bjr1n3#
你能尝试使用A100或TPU的Google Colab吗？你取得了任何进展，还是现在仍然遇到问题？
3条答案
按热度按时间xvw2m8pv1#
你正在使用哪个GPU设备？
afdcj2ne2#
我正在使用两张RTX 3090显卡测试模型。
vx6bjr1n3#
你能尝试使用A100或TPU的Google Colab吗？你取得了任何进展，还是现在仍然遇到问题？