安装成功。
× Building editable for vllm (pyproject.toml) did not run successfully.
│ exit code: 1
╰─> [145 lines of output]
C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\torch\nn\modules\transformer.py:20: UserWarning: Failed to initialize NumPy: No module named 'numpy' (Triggered internally at ..\torch\csrc\utils\tensor_numpy.cpp:84.)
device: torch.device = torch.device(torch._C._get_default_device()), # torch.device('cpu'),
No CUDA runtime is found, using CUDA_HOME='C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1'
running editable_wheel
creating C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info
writing C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\PKG-INFO
writing dependency_links to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\dependency_links.txt
writing requirements to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\requires.txt
writing top-level names to C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\top_level.txt
writing manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\SOURCES.txt'
reading manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm.egg-info\SOURCES.txt'
reading manifest template 'MANIFEST.in'
adding license file 'LICENSE'
writing manifest file 'C:\Users\hub1\AppData\Local\Temp\pip-wheel-_znvpwgw.tmp-dbxwqjd8\vllm-0.3.0.dist-info'
C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\wheel\bdist_wheel.py:108: RuntimeWarning: Config variable 'Py_DEBUG' is unset, Python ABI tag may be incorrect
if get_flag("Py_DEBUG", hasattr(sys, "gettotalrefcount"), warn=(impl == "cp")):
creating C:\Users\hub1\AppData\Local\Temp\pip-build-env-3da0b9t3\overlay\Lib\site-packages\torch\utils\cpp_extension.py:383: UserWarning: Error checking
compiler version for cl: [WinError 2] The system cannot find the file specified
warnings.warn(f'Error checking compiler version for {compiler}: {error}')
Traceback (most recent call last):
这个错误是由于在解析CUDA版本时,传入了一个NoneType对象。你可以尝试以下方法解决这个问题:
确保你的系统已经安装了正确版本的CUDA和cuDNN。你可以访问NVIDIA官网查看支持的版本。
检查你的
torch
库是否是最新版本。你可以使用以下命令更新torch
库:
pip install --upgrade torch
- 如果问题仍然存在,你可以尝试在安装
vllm
库之前设置环境变量TORCH_CUDA_ARCH_LIST
,指定一个可用的CUDA架构。例如,如果你的系统支持CUDA 10.2,你可以运行以下命令:
set TORCH_CUDA_ARCH_LIST=6.0;7.0;8.0;9.0;10.0;11.0;12.0;13.0;14.0;15.0;16.0
pip install vllm
希望这些建议能帮助你解决问题!
3条答案
按热度按时间vcirk6k61#
我建议您使用代码块格式化错误日志以提高清晰度。您可以按照以下方式操作:
此外,了解您的GPU驱动程序版本和CUDA版本将非常有帮助。您可以通过执行命令
nvidia-smi
和nvcc -v
来获取这些信息。我认为您遇到的问题可能与CUDA
版本有关。mfpqipee2#
同样的事情发生在一个GC T4示例上。
Tesla T4 - NVIDIA-SMI 535.86.10 Driver Version: 535.86.10 CUDA Version: 12.2
nvcc: NVIDIA (R) Cuda compiler driver
版权所有 (c) 2005-2023 NVIDIA Corporation
基于 Mon_Apr__3_17:16:06_PDT_2023
Cuda编译工具,版本12.1,V12.1.105
构建cuda_12.1.r12.1/compiler.32688072_0
Linux示例-20240215-153545 5.10.0-27-cloud-amd64 #1 SMP Debian 5.10.205-2 (2023-12-31) x86_64 GNU/Linux
gcc版本 10.2.1 20210110 (Debian 10.2.1-6)
u91tlkcl3#
相同的问题。