是否有从DeepSpeed/Megatron-DeepSpeed训练检查点部署LLM模型的示例？似乎我们只能根据其源代码使用基于MII的HuggingFace LLMs进行部署。
pn9klfpd1#
你好，@Jye-525,我们无法加载非HF检查点。请查看我们用于加载权重的检查点引擎：https://github.com/microsoft/DeepSpeed/tree/master/deepspeed/inference/v2/checkpoint目前这不是项目的重点，但我们欢迎外部贡献！
jv2fixgn2#
我明白了，非常感谢。
2条答案
按热度按时间pn9klfpd1#
你好，@Jye-525,我们无法加载非HF检查点。请查看我们用于加载权重的检查点引擎：https://github.com/microsoft/DeepSpeed/tree/master/deepspeed/inference/v2/checkpoint
目前这不是项目的重点，但我们欢迎外部贡献！
jv2fixgn2#
我明白了，非常感谢。