所需先决条件

• 我已阅读了文档 https://github.com/baichuan-inc/baichuan-7B/blob/HEAD/README.md 。
• 我已在 Issue Tracker 和 Discussions 中搜索，确保此问题尚未报告。如果已经报告，请在那里加1或评论。
• 在提出问题之前，请先考虑在 Discussion 中提问。

问题

请问部署推理时，最小的GPU显存需要多大？以及内存需要多大？
int8量化后最小显存需要多少？int4量化之后需要的最小显存是多少？

检查清单

• 我已在上方提供了所有相关且必要的信息。
• 我已为这个问题选择了一个合适的标题。