你好，我了解你在使用deepspeed-mii时遇到了问题。根据你的描述，你在运行https://github.com/microsoft/deepspeed-mii#deploying-mii-public提供的示例时收到了错误。我找到了一个解决方案，你可以尝试使用它来解决你的问题。
djmepvbi1#
你好，@marshmellow77 ,感谢使用MII并报告这个问题。我看到你打开了很多问题！我们非常感谢帮助找到这些bug。在下周，我会尝试重现每个问题并向您报告发现/解决方案。
b5buobof2#
我可以确认，当我在笔记本中运行时，我看到了相同的行为。在当前状态下，MII并没有设计成在笔记本中运行的意图，但我可以理解这将是多么有用。我们在你的blog post中看到了你的建议：在未来，我希望我们可以在MII中选择使用带或不带gRPC的优化我们很快就会添加这个功能，并确保在笔记本中进行测试：)
c86crjj03#
@mrwyattii 当我尝试使用Fast API部署MII时，遇到了相同的问题。同样的修复方法有效，但GRPC服务器会定期崩溃。我不确定这是否相关。
3条答案
按热度按时间djmepvbi1#
你好，@marshmellow77 ,感谢使用MII并报告这个问题。我看到你打开了很多问题！我们非常感谢帮助找到这些bug。在下周，我会尝试重现每个问题并向您报告发现/解决方案。
b5buobof2#
我可以确认，当我在笔记本中运行时，我看到了相同的行为。在当前状态下，MII并没有设计成在笔记本中运行的意图，但我可以理解这将是多么有用。我们在你的blog post中看到了你的建议：
在未来，我希望我们可以在MII中选择使用带或不带gRPC的优化
我们很快就会添加这个功能，并确保在笔记本中进行测试：)
c86crjj03#
@mrwyattii 当我尝试使用Fast API部署MII时，遇到了相同的问题。同样的修复方法有效，但GRPC服务器会定期崩溃。我不确定这是否相关。