🚀 功能、动机和宣传
目前，vllm已经预构建了docker images for vllm/vllm-openai镜像。这个镜像需要GPU才能运行。现在正在添加CPU支持，如果也能添加CPU镜像就更好了。
允许用户拉取CPU镜像可以大大简化用户的操作过程，放松对GPU的要求可以让更多的用户受益。
替代方案
- 无响应*
额外的上下文
- 无响应*
目前，vllm已经预构建了docker images for vllm/vllm-openai镜像。这个镜像需要GPU才能运行。现在正在添加CPU支持，如果也能添加CPU镜像就更好了。
允许用户拉取CPU镜像可以大大简化用户的操作过程，放松对GPU的要求可以让更多的用户受益。
1条答案
按热度按时间yshpjwxd1#
关于这个问题的任何更新吗？我真的相信社区会从预构建且可拉动的CPU Docker镜像中受益匪浅。