嘿，你确定已经安装了tokenizers吗？

你好，我也遇到了这个问题。
Transformer: 4.41.2 CUDA: 12.4 Pytorch: 2.4.0 Python : 3.11.9 GPU: RTX 4070
当我尝试：
from transformers import RobertaTokenizer
我得到了以下错误：

ModuleNotFoundError                       Traceback (most recent call last)
File d:\Apps\envs\cuda11\Lib\site-packages\transformers\utils\import_utils.py:1535, in _LazyModule._get_module(self, module_name)
   1534 try:
-> 1535     return importlib.import_module("." + module_name, self.__name__)
   1536 except Exception as e:

File d:\Apps\envs\cuda11\Lib\importlib\__init__.py:126, in import_module(name, package)
    125         level += 1
--> 126 return _bootstrap._gcd_import(name[level:], package, level)

File <frozen importlib._bootstrap>:1204, in _gcd_import(name, package, level)

File <frozen importlib._bootstrap>:1176, in _find_and_load(name, import_)

File <frozen importlib._bootstrap>:1126, in _find_and_load_unlocked(name, import_)

File <frozen importlib._bootstrap>:241, in _call_with_frames_removed(f, *args, **kwds)

File <frozen importlib._bootstrap>:1204, in _gcd_import(name, package, level)

File <frozen importlib._bootstrap>:1176, in _find_and_load(name, import_)

File <frozen importlib._bootstrap>:1147, in _find_and_load_unlocked(name, import_)
...
   1539         f" traceback):\n{e}"
   1540     ) from e

RuntimeError: Failed to import transformers.models.roberta because of the following error (look up to see its traceback):
No module named 'tokenizers.metrics'

看起来Transformers 4.44.2安装了tokenizers 0.19.0,但它与Python 3.9.19不兼容。当我加载tokenizers 0.19.1时，它可以正常工作。Tokenizers 0.20版本也不兼容。

问题：ModuleNotFoundError: No module named 'tokenizers.tokenizers' (Issue #1619)

解决方案：尝试升级到最新版本的transformers库，或者降级到一个兼容的版本。可以使用以下命令升级或降级：

pip install --upgrade transformers

或者指定一个特定的版本：

pip install transformers==4.44.2

看起来Transformers 4.44.2安装了0.19.0版本的分词器，但它与Python 3.9.19不兼容。当我加载0.19.1版本时，它可以正常工作。0.20版本的分词器也不兼容。

但是当我安装Transformers时，我得到的版本是4.41.2,我应该安装4.44.2吗？

@mohjalanji 是的。