你好，我正在尝试在HPC集群上运行与openai兼容的服务器(该集群使用apptainer而不是docker)。我将docker镜像转换为apptainer .sif文件。
然而，当我尝试运行.sif文件时，我遇到了这个问题：
/usr/bin/python3: Error while finding module specification for 'vllm.entrypoints.openai.api_server' (ModuleNotFoundError: No module named 'vllm')我认为这是因为容器/镜像中的Python环境没有安装vllm(如果它与使用DockerFile构建的镜像等效的话)。
刚接触apptainer环境，希望得到任何关于在HPC集群上运行此服务器的帮助！
4条答案
按热度按时间qv7cva1a1#
你可能需要处理Python路径问题。默认情况下，我们的Docker镜像不会将vLLM安装到Python包中。服务器只能在
/workspace目录下运行。这不是设计上的意图，而是一个巧合。bogh5gae2#
请告知我们这是否解决了问题。
afdcj2ne3#
你好，
我刚接触Apptainer和vllm,请问
/workspace目录是什么？@simon-mo谢谢！
hfyxw5xn4#
嗨，@simon-mo,抱歉给您带来了延迟，因为我在旅行中错过了您的电子邮件。感谢您关于路径问题的建议！
当我从
vllm基本目录内部运行容器时，我在描述中提到的问题已经解决了(即找到了vllm文件夹)。然而，我现在遇到了其他依赖项的问题。我还没有弄清楚为什么无法访问需求。我的假设是这可能是
requirements.txt路径的另一个问题。此外，由于我在HPC集群上运行此代码，docker文件/映像中使用的基准路径/workspace具有特权，我无法访问它。(我实际上是从<personal_workspace_path>/vllm运行的)