没有提供描述。
7d7tgy0s1#
你好@kartikeyporwal!对于这个问题的迟到回复,我们目前不支持在DeepSpeed-MII中使用自定义内核的这些模型家族,但是,我们确实支持大多数模型家族的自动Tensor并行性。我将在接下来的几周内为此编写一个PR来允许在MII中支持这个功能。谢谢!
1条答案
按热度按时间7d7tgy0s1#
你好@kartikeyporwal!对于这个问题的迟到回复,我们目前不支持在DeepSpeed-MII中使用自定义内核的这些模型家族,但是,我们确实支持大多数模型家族的自动Tensor并行性。我将在接下来的几周内为此编写一个PR来允许在MII中支持这个功能。谢谢!