DeepSpeed-MII 无法运行llama-2-7B和llama-2-13B,

fkvaft9z  于 3个月前  发布在  其他
关注(0)|答案(2)|浏览(48)

在使用DeepSpeed-MII与Llama-2模型时,遇到了两个问题。首先是无法将慢速tokenizer转换为快速tokenizer的错误,提示需要安装sentencepiece库。其次是在尝试将llama-2-13B-chat替换为llama-2-7B-chat时,遇到了另一个错误。

针对第一个问题,可以尝试安装sentencepiece库:

pip install sentencepiece

然后在加载tokenizer时,使用sentencepiece库进行转换:

from transformers import AutoTokenizer
import sentencepiece as spm

def load_tokenizer(model_config):
    tokenizer = AutoTokenizer.from_pretrained(model_config.tokenizer)
    spm.SentencePieceTrainer.train(input_file=model_config.tokenizer, model_prefix="spm", vocab_size=10000)
    return tokenizer

针对第二个问题,需要检查代码中是否有关于模型配置的部分,可能需要根据不同的模型版本进行相应的调整。
这个错误信息表示在运行过程中,服务器因为某种原因崩溃了。具体来说,是在/home/DeepSpeed-MII/mii/backend/server.py文件的第62行抛出了一个RuntimeError,导致无法继续执行。

要解决这个问题,你需要检查服务器崩溃的原因。可能的原因包括内存不足、CPU过载、代码错误等。你可以尝试以下方法:

  1. 检查服务器的日志,看是否有更详细的错误信息。
  2. 检查服务器的资源使用情况,如内存和CPU占用率,确保它们没有超过限制。
  3. 检查代码中是否存在潜在的错误,如语法错误、逻辑错误等。
  4. 如果问题仍然存在,尝试重启服务器并重新运行程序。
gdrx4gfi

gdrx4gfi1#

这个看起来像是一个我们在最新的DeepSpeed中修复的bug。我们很快就会发布一个补丁。在此期间,请使用以下命令安装:

$pip install git+https://github.com/Microsoft/DeepSpeed.git git+https://github.com/Microsoft/DeepSpeed-MII.git$

v6ylcynt

v6ylcynt2#

这个错误是由于在运行DeepSpeed时遇到了问题。你可以尝试以下方法解决这个问题:

  1. 确保你的PyTorch版本与DeepSpeed兼容。根据错误信息,你需要使用torch版本 >= 1.5且 < 2.0。你可以通过以下命令更新PyTorch:
pip install torch==1.9.0+a8b82153
  1. 如果更新PyTorch后问题仍然存在,你可以尝试降级DeepSpeed的版本。根据错误信息,只有1.0.0是已知与PyTorch兼容的。你可以通过以下命令安装特定版本的DeepSpeed:
pip install deepspeed==0.14.1+a8b82153
  1. 如果以上方法都无法解决问题,建议查看DeepSpeed的GitHub仓库以获取更多关于此错误的信息和可能的解决方案。

相关问题