GPTCache 增强:llm('hello')这样调用会执行langchain中LLM类的_call()方法,但是它只能返回一个str类型,

34gzjxbg  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(75)

你想添加什么内容?

我想它应该支持流式输出,使用yield返回。因此,除了处理llm('hello')这样的调用之外,最好还能使用llm.custom_func()进行调用。

为什么需要这个功能?

支持流式输出。

kdfy810k

kdfy810k1#

@jiangbossB 这是一条很好的建议!

lnlaulya

lnlaulya2#

如果你想支持流式输出,这应该在langchain中得到支持,例如返回一个生成器。

相关问题