当前环境
最新Docker镜像，RTX 4090
描述bug
docker run --gpus all vllm/vllm-openai:latest --model meta-llama/Llama-Guard-3-8B-INT8
...
[rank0]: raise ValueError(f"Cannot find any of {keys} in the model's "
[rank0]: ValueError: Cannot find any of ['adapter_name_or_path'] in the model's quantization config.
2条答案
按热度按时间2mbi3lxu1#
看起来这是一个8位BNB模型。是否可以轻松地为这些检查点添加支持？
6tqwzwtp2#
看起来这是一个8位BNB模型。是否可以轻松地为这些检查点添加支持？
这并不困难。我会以更高的优先级来处理这个问题。