当我使用langchain4j开发一个SSE接口时,StreamingChatLanguageModel.generate在网页断开SSE请求后仍然继续运行。我该如何立即停止对OpenAI服务器的请求?
服务器日志是基于链的,依赖于ThreadLocal中存储的关联ID以快速检索与当前请求相关的日志。然而,目前没有方法将ThreadLocal内容传递给运行StreamingChatLanguageModel.generate的线程。您对此有何建议?
当我使用langchain4j开发一个SSE接口时,StreamingChatLanguageModel.generate在网页断开SSE请求后仍然继续运行。我该如何立即停止对OpenAI服务器的请求?
服务器日志是基于链的,依赖于ThreadLocal中存储的关联ID以快速检索与当前请求相关的日志。然而,目前没有方法将ThreadLocal内容传递给运行StreamingChatLanguageModel.generate的线程。您对此有何建议?
2条答案
按热度按时间xqnpmsa81#
你好,@wangyulong-patsnap!关于你的第一个问题,请查看我的这个问题:#1454,也许它能给你一些解决你问题的想法。
f0brbegy2#
你好,@wangyulong-patsnap!关于你的第一个问题,请查看我的这个问题:#1454 ,也许它能给你一些解决问题的想法。
我认为这不是一个好解决方案,因为你无法知道页面的SSE何时断开连接。我更希望有一个选项,让用户可以控制它。