当前环境信息如下：
PyTorch版本：2.3.0+cu121
是否为调试构建：False
用于构建PyTorch的CUDA版本：12.1
用于构建PyTorch的ROCM版本：N/A
操作系统：Ubuntu 22.04.1 LTS(x86_64)
GCC版本：(Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
Clang版本：无法收集
CMake版本：3.29.3
Libc版本：glibc-2.35
Python版本：3.11.9(主，2024年4月19日 16:48:06) [GCC 11.2.0] (64位运行时)
Python平台：Linux-5.15.146.1-microsoft-standard-WSL2-x86_64-with-glibc2.35
是否可用CUDA:是
CUDA运行时版本：11.5.119
CUDA_MODULE_LOADING设置为：LAZY
GPU模型和配置：
GPU 0:NVIDIA GeForce RTX 4090
GPU 1:NVIDIA GeForce RTX 4090
Nvidia驱动版本：552.22
cuDNN版本：无法收集
HIP运行时版本：N/A
MIOpen运行时版本：N/A
XNNPACK可用：是
CPU架构：x86_64
CPU操作模式(32位、64位):39位物理，48位虚拟
地址大小：39位物理，48位虚拟
字节序：小端
CPU数量：32
在线CPU列表：0-31
供应商ID:GenuineIntel
模型名称：Intel(R) Core(TM) i9-14900KF CPU @ 1.90GHz
CPU家族：6
模型：183
线程数/核心数：2
核心数/插槽数：16
插槽数：1
步进：1
BogoMIPS:6374.40
标志：fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxssse3 sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves avx_vnni umip waitpkg gfni vaes vpclmulqdq rdpid movdiri movdir64b fsrm md_clear serialize flush_l1d arch_capabilities
虚拟化：VT-x
虚拟机提供商：Microsoft
虚拟化类型：完全虚拟化
L1d缓存大小：768 KiB (16示例)
L1i缓存大小：512 KiB (16示例)
L2缓存大小：32 MiB (16示例)
L3缓存大小：36 MiB (1示例)
漏洞数据采样情况：未受影响
漏洞Itlb多hit情况：未受影响
漏洞L1tf情况：未受影响
漏洞Mds情况：未受影响
漏洞Meltdown情况：未受影响
漏洞Mmio stale data情况：未受影响
漏洞Retbleed情况：已修复；增强IBRS
漏洞Spec rstack overflow情况：未受影响
漏洞Spec store bypass情况；Speculative Store Bypass disabled via prctl and seccomp
漏洞Spectre v1情况；用户copy/swapgs barriers和__user指针清理保护
漏洞Spectre v2情况；增强IBRS,IBBP条件，RSB填充，PBRSB-eIBRS SW序列
这个错误是由于在执行init_device方法时发生了死锁，导致分布式执行出现问题。具体错误信息为：NCCL error: unhandled cuda error (run with NCCL_DEBUG=INFO for details)。为了解决这个问题，你可以尝试以下方法：

1. 检查你的CUDA和NCCL版本是否与vLLM兼容。确保你使用的是最新版本的CUDA和NCCL库。

2. 设置环境变量NCCL_DEBUG=INFO,以便查看详细的NCCL调试信息。这将帮助你更好地了解问题所在。

3. 如果问题仍然存在，尝试在不同的计算机或GPU上运行你的代码，以排除硬件兼容性问题。

4. 如果以上方法都无法解决问题，建议在vLLM的GitHub仓库中提交一个issue,详细描述你遇到的问题，并提供相关的错误日志和系统配置信息。这样，vLLM的开发者可以更好地帮助你解决问题。
   (RayWorkerWrapper pid=7596) Extension modules: psutil._psutil_linux, psutil._psutil_posix, msgpack._cmsgpack, google._upb._message, setproctitle, yaml._yaml, charset_normalizer.md, requests.packages.charset_normalizer.md, requests.packages.chardet.md, uvloop.loop, ray._raylet, numpy.core._multiarray_umath, numpy.core._multiarray_tests, numpy.linalg._umath_linalg, numpy.fft._pocketfft_internal, numpy.random._common, numpy.random.bit_generator, numpy.random._bounded_integers, numpy.random._mt19937, numpy.random.mtrand, numpy.random._philox, numpy.random._pcg64, numpy.random._sfc64, numpy.random._generator, torch._C, torch._C._fft, torch._C._linalg, torch._C._nested, torch._C._nn, torch._C._sparse, torch._C._special, sentencepiece._sentencepiece, PIL._imaging (total: 33)
   (raylet) A worker died or was killed while executing a task by an unexpected system error. To troubleshoot the problem, check the logs for the dead worker. RayTask ID: ffffffffffffffff6aba5c566d171c4cbbfe879201000000 Worker ID: a0821e052de9a053e99bf41cf5c73372eacb37375c5d5b113d38a490 Node ID: 3263fc6978985245b12fc99c23d1dca8db72ce8aa8be6c96f1724a35 Worker IP address: 172.21.21.248 Worker port: 37315 Worker PID: 7596 Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors。

###################################################################################

然后它挂起了
Docker版本也遇到了同样的问题
docker run --gpus all
-v ~/.cache/modelscope/hub/Yi-34B-Chat-4bits:/models/Yi-34B-Chat-4bits
-p 8000:8000
--ipc=host
vllm/vllm-openai:latest
--model /models/Yi-34B-Chat-4bits
--served-model-name Yi-34B-Chat
--trust-remote-code
--max-model-len 4096 -q awq
--enforce-eager
--tensor-parallel-size 2
2 GPU在其他推理工具和Lora SFT上工作。