QAnything [BUG] < title>ValueError: Tokenizer类Qwen2Tokenizer不存在或尚未导入,

332nm8kg  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(54)

是否有关于该错误的issue或讨论?
我已经搜索过已有的issues和讨论
该问题是否在FAQ中有解答?
我已经搜索过FAQ
当前行为:
遇到的报错:
LLM 服务正在启动,可能需要一段时间...你有时间去冲杯咖啡 :)
qanything-container-local | 启动 LLM 服务超时,自动检查 /workspace/qanything_local/logs/debug_logs/fastchat_logs/fschat_model_worker_7801.log 中是否存在Error...
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | File "/workspace/qanything_local/third_party/FastChat/fastchat/model/model_adapter.py", line 111, in load_compress_model
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | return load_compress_model(
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | File "/workspace/qanything_local/third_party/FastChat/fastchat/model/compression.py", line 113, in load_compress_model
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | tokenizer = AutoTokenizer.from_pretrained(
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrained
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | raise ValueError(
qanything-container-local | 2024-03-04 16:13:58 | ERROR | stderr | ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.
qanything-container-local | 检测到错误信息,请查看上面的输出。
有可能的解决方法:
我已知错误可能发生的主要原因是:
需要修改tokenization_auto.py文件中的from_pretrained方法。这个文件位于/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py。但是,修改第三方库中的文件并不是一个好的做法,因为这会影响到整个系统的稳定性和可维护性。
可以在代码中调用AutoTokenizer.from_pretrained()时添加trust_remote_code=True参数来解决这个错误。
但由于我在这方面比较小白,我不知道应该在哪里,哪个文件,哪部分代码中进行修改。
或者有什么其他的办法解决这个问题?
期望行为:无响应
运行环境:

- OS:
- NVIDIA Driver:
- CUDA:
- docker:
- docker-compose:
- NVIDIA GPU:
- NVIDIA GPU Memory:

QAnything日志:无响应
复现方法:无响应
备注:无响应

ix0qys7i

ix0qys7i1#

使用qwen1.5时,需要将镜像中的transformers升级到4.37.0或更高版本。

prdp8dxp

prdp8dxp2#

使用qwen1.5的话需要将镜像的transformers升级到4.37.0以上
升级版本没有用,照样报错 ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.

q7solyqu

q7solyqu3#

使用qwen1.5的话需要将镜像的transformers升级到4.37.0以上
升级版本没有用,照样报错 ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.

QwenLM/Qwen2#34

vaj7vani

vaj7vani4#

同样遇到这个问题,我升级了transformers到4.39.3,但问题仍然没有解决。我是在使用langchain-chatchat和LLM模型调用Qwen-1.5-72B时遇到的。我的Python版本是3.10.8。我自己在这方面比较小白,想请教一下各位大佬解决了吗?

相关问题