系统信息
在Docker https://huggingface.co/huggingface/falcon-40b-gptq?text=My+name+is+Lewis+and+I+like+to上运行此命令后,我遇到了这个错误。
huggingface_hub.utils._errors.EntryNotFoundError: 未找到模型huggingface/falcon-40b-gptq的.bin权重,修订版本为None。
信息
- Docker
- CLI直接
任务
- 一个官方支持的命令
- 我自己的修改
重现
sudo docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:0.8 --model-id $model --num-shard $num_shard --quantize gptq
预期行为
运行
8条答案
按热度按时间x6h2sr281#
你好,@mayurtikundi12。为了使这个模型正常工作,你需要使用最新的版本。我们即将发布0.9版本,届时应该可以正常工作。@OlivierDehaene(负责可视化)
qf9go6mv2#
在1.1.0版本中,它无法正常工作。
zrfyljdw3#
@chintanckg,添加
--quantize gptq
4dc9hkyq4#
输出:
@OlivierDehaene - 仍然存在相同的问题,请建议。
kuarbcqp5#
当我通过路径加载包含safetensors且没有.bin权重的模型时,我也看到了这个错误。
TheBloke/Llama-2-7B-Chat-GPTQ
zour9fqk6#
这段文本内容是关于两个错误问题的讨论。第一个问题出现在
text-generation-inference/server/text_generation_server/cli.py
文件的第156行,其中硬编码了".bin"。第二个问题出现在text-generation-inference/server/text_generation_server/utils/hub.py
文件的第95至99行,当尝试获取权重文件时,如果扩展名不是".safetensors",则会引发异常。翻译后的中文文本如下:
在
text-generation-inference/server/text_generation_server/cli.py
文件的第156行,这里不应该硬编码".bin"。我认为这可能是导致这个问题的原因。因为它会触发以下代码块并引发错误:1zmg4dgp7#
与一个.gguf微调模型有同样的问题。有任何更新吗?
bsxbgnwa8#
This issue is stale because it has been open 30 days with no activity. Remove stale label or comment or this will be closed in 5 days.