搜索问题前先询问

• 我已在 issues 中进行了搜索，但没有找到类似的问题。

操作系统信息

Linux

Python版本信息

=3.11

DB-GPT版本

主版

相关场景

• 聊天数据
• 聊天Excel
• 聊天数据库
• 聊天知识库
• 模型管理
• Jmeter 盘
• 插件

安装信息

• Installation From Source
• Docker Installation
• Docker Compose Installation
• Cluster Installation
• AutoDL图像
• 其他

设备信息

gpu=4090

模型信息

llm=qwen2-7b

发生了什么？

如何暂停大模型的输出？只能等大模型全部输出结束吗？有没有相应的接口呢？

你期望会发生什么？

输出tokens

如何重现？

发送prompt

其他上下文

• 无响应*

你是否愿意提交PR?

• 是的，我愿意提交一个PR!