当前环境
查看:#4312
🐛 描述bug
查看#4312了解运行情况。
我不太明白为什么会发生这种情况。哈希值与另一个运行dbrx的系统相同。
运行dbrx的良好系统:
(h2ogpt) ubuntu@compute-permanent-node-212:~$ docker inspect --format='{{index .RepoDigests 0}}' d641d43b21fd
vllm/vllm-openai@sha256:8fb3c30868764d169dc8837b153611815dbddbc831daafd8412b8f650fe111ae
无法运行dbrx的不良系统:
ubuntu@compute-permanent-node-171:~/h2ogpt_ops$ docker inspect --format='{{index .RepoDigests 0}}' d641d43b21fd
vllm/vllm-openai@sha256:8fb3c30868764d169dc8837b153611815dbddbc831daafd8412b8f650fe111ae
我想dbrx模型本身发生了变化,因此vLLM需要新的转换器。
Traceback (most recent call last):
File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/configuration_auto.py", line 1155, in from_pretrained
config_class = CONFIG_MAPPING[config_dict["model_type"]]
File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/configuration_auto.py", line 852, in __getitem__
raise KeyError(key)
KeyError: 'dbrx'
1条答案
按热度按时间2nbm6dog1#
工作: