必需的先决条件

• 我已阅读了文档 https://github.com/baichuan-inc/baichuan-7B/blob/HEAD/README.md 。
• 我已在 Issue Tracker 和 Discussions 中搜索，以确保这个问题尚未被报告过。(如果已经报告过，请在那里加1或评论。)
• 考虑在 Discussion 中首先提问。

问题

明显还有很多内存没有分配，但显示内存不足
OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 24.00 GiB total capacity; 9.07 GiB already allocated; 13.70 GiB free; 9.08 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

检查清单

• 我已在上面提供了所有相关且必要的信息。
• 我已为这个问题选择了合适的标题。