你解决了这个问题吗？我似乎也遇到了同样的问题。
@TheJerryChang,这是否也会停止llm的完成过程？我正在使用langchain llama cpp和conversationalretrievalchain。
对于我的用例，我正在使用聊天模型，没有尝试过完成过程。你们是如何进行流式处理的？你们使用了chain.stream()吗？我个人认为只要它支持在迭代过程中通过调用chain.stream()来继续进行流式处理，那么它就可以在生成过程中抛出异常而被中断
我正在使用AgentExecutor的.astream_events方法。我正在尝试弄清楚如何在生成代理响应的同时取消它，以防它完成生成。

• 原帖由@Spider-netizen在#11959(评论)*

你好，
这个可以实现吗？
谢谢。