DeepSpeed-MII import mii not working

6mzjoqzu 于 3个月前发布在其他

关注(0)|答案(5)|浏览(61)

import mii 代码抛出给定的错误

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/tmp/pip_packages/mii/__init__.py", line 5, in <module>
    import grpc
  File "/tmp/pip_packages/grpc/__init__.py", line 22, in <module>
    from grpc import _compression
  File "/tmp/pip_packages/grpc/_compression.py", line 20, in <module>
    from grpc._cython import cygrpc
  File "src/python/grpcio/grpc/_cython/cygrpc.pyx", line 27, in init grpc._cython.cygrpc
  File "/tmp/pip_packages/asyncio/__init__.py", line 21, in <module>
    from .base_events import *
  File "/tmp/pip_packages/asyncio/base_events.py", line 296
    future = tasks.async(future, loop=self)
                   ^
SyntaxError: invalid syntax

在Python 3.8.16和CUDA版本：12.0中

deepspeed==0.13.1
deepspeed-kernels==0.0.1.dev1698255861
deepspeed-mii==0.2.0

DeepSpeed-MII

来源：https://github.com/microsoft/DeepSpeed-MII/issues/387

5条答案

按热度按时间

a7qyws3x1#

这个导入错误来自grpc/asyncio。你能告诉我你为每个库安装了哪个版本吗？

$pip list | grep "asyncio\|grpc"$

赞(0）回复(0）举报 3个月前

jbose2ul2#

以下是文本内容：

asyncio                  3.4.3
grpcio                   1.60.0
grpcio-tools             1.60.0
nest-asyncio             1.5.6

赞(0）回复(0）举报 3个月前

velaa5lx3#

你正在使用的Python版本是多少？我认为asyncio现在已经是Python标准库的一部分了。也许这个旧版本被用来替代，导致了问题？你可以尝试卸载这两个asyncio包，看看是否能解决导入错误？

赞(0）回复(0）举报 3个月前

wwtsj6pe4#

你好，pip uninstall -y asyncio nest-asyncio 解决了 import mii 的问题。但是在导入 mii 后，当我通过

import mii
finetuned_model_path = "path"
pipe = mii.pipeline(finetuned_model_path)

加载我的 mistral 微调模型时，它显示了另一个错误

RuntimeError: Ninja is required to load C++ extensions

我通过添加

sudo yum install ninja-build

解决了这个问题。但是在安装 ninga-build 之后，它再次在 mii.pipeline(finetuned_model_path) 命令中显示给定的错误。

subprocess.CalledProcessError: Command '['which', 'c++']' returned non-zero exit status 1.

通过

sudo yum install gcc-c++

解决了上述错误。但是现在，mii.pipeline(finetuned_model_path) 命令再次显示给定的错误

subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1.
RuntimeError: Error building extension 'inference_core_ops'

赞(0）回复(0）举报 3个月前

iih3973s5#

@pradeepdev-1995 can you please share the whole error output text? Can you also share your python environment (output from pip list )? Thanks!

赞(0）回复(0）举报 3个月前

我来回答

DeepSpeed-MII import mii not working

5条答案

相关问题

热门标签

最新问答