当我设置 prompt_logprobs = 1 时,如果输入过长(超过900个标记),会导致内存不足(OOM)错误。以下是一些详细信息。
$x_{1c0d1}x$
模型:BAAI/AquiilaChat2-34B
评估:2 * A100 40G
y4ekin9u1#
gpu_memory_utilization 参数调低一点就行了
gblwokeq2#
gpu_memory_utilization参数调低一点就行了我调低了一些 还是会有oom的情况
k3fezbri3#
关闭此问题,因为在过去的3个月里没有讨论过。如果您仍然遇到您描述的问题,请随时重新打开此问题。
zaq34kh64#
重新打开这个,因为它可以被#5067复制。
4条答案
按热度按时间y4ekin9u1#
gpu_memory_utilization 参数调低一点就行了
gblwokeq2#
gpu_memory_utilization参数调低一点就行了
我调低了一些 还是会有oom的情况
k3fezbri3#
关闭此问题,因为在过去的3个月里没有讨论过。
如果您仍然遇到您描述的问题,请随时重新打开此问题。
zaq34kh64#
重新打开这个,因为它可以被#5067复制。