我注意到在vllm.entrypoints.api_server中没有lora-modules参数,这意味着我必须在发送请求时添加lora本地路径。这是不现实的,因为客户端不知道lora路径。有任何修复它的计划吗?
vllm.entrypoints.api_server
9avjhtql1#
请使用 vllm.entrypoints.openai.apI_server 代替,它具有类似的功能并与 OpenAI 兼容的 API。
vllm.entrypoints.openai.apI_server
yk9xbfzb2#
请使用 vllm.entrypoints.openai.apI_server 代替,它具有类似的功能和与 OpenAI 兼容的 API。谢谢。有没有脚本来对多个 LoRa 服务进行基准测试?
6ie5vjzr3#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的benchmarks/,并欢迎贡献!
benchmarks/
ev7lccsx4#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的benchmarks/和贡献,欢迎!好的,我发现了一些性能问题并将其发布在这里#3219。
4条答案
按热度按时间9avjhtql1#
请使用
vllm.entrypoints.openai.apI_server
代替,它具有类似的功能并与 OpenAI 兼容的 API。yk9xbfzb2#
请使用
vllm.entrypoints.openai.apI_server
代替,它具有类似的功能和与 OpenAI 兼容的 API。谢谢。有没有脚本来对多个 LoRa 服务进行基准测试?
6ie5vjzr3#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的
benchmarks/
,并欢迎贡献!ev7lccsx4#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的
benchmarks/
和贡献,欢迎!好的,我发现了一些性能问题并将其发布在这里#3219。