我注意到在vllm.entrypoints.api_server中没有lora-modules参数，这意味着我必须在发送请求时添加lora本地路径。这是不现实的，因为客户端不知道lora路径。有任何修复它的计划吗？
vllm.entrypoints.api_server
9avjhtql1#
请使用 vllm.entrypoints.openai.apI_server 代替，它具有类似的功能并与 OpenAI 兼容的 API。
vllm.entrypoints.openai.apI_server
yk9xbfzb2#
请使用 vllm.entrypoints.openai.apI_server 代替，它具有类似的功能和与 OpenAI 兼容的 API。谢谢。有没有脚本来对多个 LoRa 服务进行基准测试？
6ie5vjzr3#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的benchmarks/,并欢迎贡献！
benchmarks/
ev7lccsx4#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的benchmarks/和贡献，欢迎！好的，我发现了一些性能问题并将其发布在这里#3219。
4条答案
按热度按时间9avjhtql1#
请使用
vllm.entrypoints.openai.apI_server代替，它具有类似的功能并与 OpenAI 兼容的 API。yk9xbfzb2#
请使用
vllm.entrypoints.openai.apI_server代替，它具有类似的功能和与 OpenAI 兼容的 API。谢谢。有没有脚本来对多个 LoRa 服务进行基准测试？
6ie5vjzr3#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的
benchmarks/,并欢迎贡献！ev7lccsx4#
我相信我们还没有对LoRA进行全面的基准测试。请查看我们在仓库中的
benchmarks/和贡献，欢迎！好的，我发现了一些性能问题并将其发布在这里#3219。