当我设置 prompt_logprobs = 1 时，如果输入过长(超过900个标记),会导致内存不足(OOM)错误。以下是一些详细信息。
$x_{1c0d1}x$
模型：BAAI/AquiilaChat2-34B
评估：2 * A100 40G
y4ekin9u1#
gpu_memory_utilization 参数调低一点就行了
gblwokeq2#
gpu_memory_utilization参数调低一点就行了我调低了一些 还是会有oom的情况
k3fezbri3#
关闭此问题，因为在过去的3个月里没有讨论过。如果您仍然遇到您描述的问题，请随时重新打开此问题。
zaq34kh64#
重新打开这个，因为它可以被#5067复制。
4条答案
按热度按时间y4ekin9u1#
gpu_memory_utilization 参数调低一点就行了
gblwokeq2#
gpu_memory_utilization参数调低一点就行了
我调低了一些 还是会有oom的情况
k3fezbri3#
关闭此问题，因为在过去的3个月里没有讨论过。
如果您仍然遇到您描述的问题，请随时重新打开此问题。
zaq34kh64#
重新打开这个，因为它可以被#5067复制。