看起来当前的实现并没有包含Codellama的兼容性。我建议在deepspeed-fastgen中加入对CodeLlama的支持。
fkvaft9z1#
你好，@LinKiling。看起来我们可以加载Codellama模型并运行生成，但输出似乎有点偏差。我会请我们的内核开发人员查看一下。谢谢！
92dk7w1h2#
关于这个问题有任何更新吗？我也在Codellama上得到了错误的输出。
2条答案
按热度按时间fkvaft9z1#
你好，@LinKiling。看起来我们可以加载Codellama模型并运行生成，但输出似乎有点偏差。我会请我们的内核开发人员查看一下。谢谢！
92dk7w1h2#
你好，@LinKiling。看起来我们可以加载Codellama模型并运行生成，但输出似乎有点偏差。我会请我们的内核开发人员查看一下。谢谢！
关于这个问题有任何更新吗？我也在Codellama上得到了错误的输出。