[特性]使用langchain4j处理SSE接口中的持久请求和线程上下文问题

luaexgnf  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(73)
  1. 当我使用langchain4j开发一个SSE接口时,StreamingChatLanguageModel.generate在网页断开SSE请求后仍然继续运行。我该如何立即停止对OpenAI服务器的请求?

  2. 服务器日志是基于链的,依赖于ThreadLocal中存储的关联ID以快速检索与当前请求相关的日志。然而,目前没有方法将ThreadLocal内容传递给运行StreamingChatLanguageModel.generate的线程。您对此有何建议?

xqnpmsa8

xqnpmsa81#

你好,@wangyulong-patsnap!关于你的第一个问题,请查看我的这个问题:#1454,也许它能给你一些解决你问题的想法。

f0brbegy

f0brbegy2#

你好,@wangyulong-patsnap!关于你的第一个问题,请查看我的这个问题:#1454 ,也许它能给你一些解决问题的想法。
我认为这不是一个好解决方案,因为你无法知道页面的SSE何时断开连接。我更希望有一个选项,让用户可以控制它。

相关问题