错误:无法为vllm构建轮子,这是安装基于pyproject.toml的项目所必需的,

n53p2ov0  于 5个月前  发布在  其他
关注(0)|答案(3)|浏览(47)

安装成功。

× Building editable for vllm (pyproject.toml) did not run successfully.
│ exit code: 1
 ╰─> [145 lines of output]
 C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\torch\nn\modules\transformer.py:20: UserWarning: Failed to initialize NumPy: No module named 'numpy' (Triggered internally at ..\torch\csrc\utils\tensor_numpy.cpp:84.)
 device: torch.device = torch.device(torch._C._get_default_device()), # torch.device('cpu'),
 No CUDA runtime is found, using CUDA_HOME='C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1'
 running editable_wheel
 creating C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info
 writing C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\PKG-INFO
 writing dependency_links to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\dependency_links.txt
 writing requirements to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\requires.txt
 writing top-level names to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\top_level.txt
 writing manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\SOURCES.txt'
 reading manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\SOURCES.txt'
 reading manifest template 'MANIFEST.in'
 adding license file 'LICENSE'
 writing manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm-0.3.0.dist-info'
 C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\wheel\bdist_wheel.py:108: RuntimeWarning: Config variable 'Py_DEBUG' is unset, Python ABI tag may be incorrect
 if get_flag("Py_DEBUG", hasattr(sys, "gettotalrefcount"), warn=(impl == "cp")):
 creating C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\torch\utils\cpp_extension.py:383: UserWarning: Error checking
 compiler version for cl: [WinError 2] The system cannot find the file specified
 warnings.warn(f'Error checking compiler version for {compiler}: {error}')
 Traceback (most recent call last):

这个错误是由于在解析CUDA版本时,传入了一个NoneType对象。你可以尝试以下方法解决这个问题:

  1. 确保你的系统已经安装了正确版本的CUDA和cuDNN。你可以访问NVIDIA官网查看支持的版本。

  2. 检查你的torch库是否是最新版本。你可以使用以下命令更新torch库:

pip install --upgrade torch
  1. 如果问题仍然存在,你可以尝试在安装vllm库之前设置环境变量TORCH_CUDA_ARCH_LIST,指定一个可用的CUDA架构。例如,如果你的系统支持CUDA 10.2,你可以运行以下命令:
set TORCH_CUDA_ARCH_LIST=6.0;7.0;8.0;9.0;10.0;11.0;12.0;13.0;14.0;15.0;16.0
pip install vllm

希望这些建议能帮助你解决问题!

vcirk6k6

vcirk6k61#

我建议您使用代码块格式化错误日志以提高清晰度。您可以按照以下方式操作:

[Your error log here]

此外,了解您的GPU驱动程序版本和CUDA版本将非常有帮助。您可以通过执行命令nvidia-sminvcc -v来获取这些信息。我认为您遇到的问题可能与CUDA版本有关。

mfpqipee

mfpqipee2#

同样的事情发生在一个GC T4示例上。
Tesla T4 - NVIDIA-SMI 535.86.10 Driver Version: 535.86.10 CUDA Version: 12.2
nvcc: NVIDIA (R) Cuda compiler driver
版权所有 (c) 2005-2023 NVIDIA Corporation
基于 Mon_Apr__3_17:16:06_PDT_2023
Cuda编译工具,版本12.1,V12.1.105
构建cuda_12.1.r12.1/compiler.32688072_0
Linux示例-20240215-153545 5.10.0-27-cloud-amd64 #1 SMP Debian 5.10.205-2 (2023-12-31) x86_64 GNU/Linux
gcc版本 10.2.1 20210110 (Debian 10.2.1-6)

相关问题