vllm 支持JSON模式,

fquxozlt 于 4个月前发布在其他

关注(0)|答案(8)|浏览(50)

Any plan to integrate modules such as lm-format-enforcer. Support JSON mode.

8条答案

是的！这是我们的首要任务。

目前这里有什么工作正在进行吗？如果没有，我可以调查一下。

上下文无关语法

如果 Camel 的CPP GBNF语法能够标准化，那将是很酷的事情，这样我们就可以在不同的LLM框架之间做一些事情，比如图像。

在我们的路线图中，任何支持https://github.com/outlines-dev/outlines的东西都可以成为vLLM的一部分，只要其他支持LogitsProcessors API的框架也可以。

这个看起来不错，只需阅读大纲-似乎非常有用。
我们什么时候能拿到它：D

有人对大纲引入的延迟进行了基准测试吗？

这是否已经按照这里的描述#1191得到支持？

我也希望看到这个功能被加入到vllm中！