vllm [Bug]: 部署Phi-3-mini-128k-instructAssert错误

mbskvtky  于 2个月前  发布在  其他
关注(0)|答案(9)|浏览(39)

当前环境信息如下:

PyTorch版本:2.3.0+cu121
是否为调试构建:否
用于构建PyTorch的CUDA版本:12.1
是否使用ROCm进行构建:N/A
操作系统:Ubuntu 22.04.1 LTS(x86_64)
GCC版本:(Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
Clang版本:无法收集
CMake版本:3.29.0
Libc版本:glibc-2.35
Python版本:3.11.8(main, Feb 26 2024, 21:39:34) [GCC 11.2.0] (64-bit runtime)
Python平台:Linux-6.2.0-39-generic-x86_64-with-glibc2.35
是否可用CUDA:是
CUDA运行时版本:12.1.66
CUDA模块加载设置:LAZY
GPU模型和配置:
GPU 0:NVIDIA GeForce RTX 4090
GPU 1:NVIDIA GeForce RTX 4090
Nvidia驱动版本:530.30.02
cuDNN版本:可能是以下之一:
/usr/lib/x86_64-linux-gnu/libcudnn.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_adv_infer.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_adv_train.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_cnn_infer.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_cnn_train.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_ops_infer.so.8.9.4
/usr/lib/x86_64-linux-gnu/libcudnn_ops_train.so.8.9.4
HIP运行时版本:N/A
MIOpen运行时版本:N/A
XNNPACK可用性:是
文件 "/home/hua-project/vllm/vllm/engine/arg_utils.py",第528行,在create_engine_config函数中
model_config = ModelConfig(
^^^^^^^^^^^^
文件 "/home/hua-project/vllm/vllm/config.py",第125行,在init函数中
self.max_model_len = _get_and_verify_max_len(self.hf_text_config,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
文件 "/home/hua-project/vllm/vllm/config.py",第1163行,在_get_and_verify_max_len函数中
assert "factor" in rope_scaling
^^^^^^^^^^^^^^^^^^^^^^^
AssertionError

kt06eoxx

kt06eoxx1#

Phi-3支持已经在主分支中,可能它还没有在pip包中,所以我认为你应该从源代码构建它。

eufgjt7s

eufgjt7s2#

我尝试再次使用以下方法,但仍然存在同样的问题。

m3eecexj

m3eecexj3#

我再次尝试使用以下方法,问题仍然存在。
+1,看起来这个问题在4323中已经修复了,但是又出现了。

jobtbby3

jobtbby34#

Phi-3支持已经在主分支中,可能它还没有在pip包中,所以我认为你应该从源代码构建它。
Phi-3-mini-4k-instruct可以正常工作,但Phi-3-mini-128k-instruct不能。你能再次确认一下吗?

pdsfdshx

pdsfdshx6#

对我来说,它在模型提交bb5bf中似乎运行良好,但在最新的模型提交d548c中却出现了问题。

muk1a3rh

muk1a3rh7#

+1 v0.5.0.post1仍然存在问题

uajslkp6

uajslkp69#

仍然在0.5.1版本中发生

相关问题