您的功能请求是否与问题相关?请描述。
目前,聊天生成器的streaming_callback不支持异步函数作为回调,这限制了使用FastAPI等后端解决方案的潜力。
描述您希望的解决方案
让streaming_callback同时接受Optional[Callable[[StreamingChunk], None]]
和Optional[(chunk: StreamingChunk) -> Coroutine[Any, Any, None]
。
描述您考虑过的替代方案
目前,替代方案是在不同的线程上运行管道,然后使用适当的数据结构并发地从回调中添加数据并从FastAPI主线程检索它们。这样一来,代码笨拙且不理想。
3条答案
按热度按时间2uluyalo1#
Bump
v9tzhpje2#
有人知道如何从生成器通过FastAPI流式传输令牌回用户吗?
t9aqgxwy3#
被 #6012 阻挡