你好，我从huggingface提供了这个模型：01-ai/Yi-6B-200K。当请求长度为100K的输入时，会出现这个错误：
flmtquvp1#
你好，@frankxyy。我们目前不支持这种模型类型。当你尝试使用MII加载模型时，你应该会看到一个错误：ValueError: Unsupported model type Yi。
ValueError: Unsupported model type Yi
plicqrtu2#
对不起，我在第一篇帖子中错误地贴出了这个模型的名字...实际的名字是larryvrh/Yi-6B-200K-Llamafied。这个模型实际上是一个 Camel 模型。
lawou6xi3#
明白了，我会更新并再次尝试。
在此期间，您能确认一下您正在运行的硬件类型吗？根据我在另一个问题中看到的情况，您正在运行4xA10,对吗？另外，当您运行提示符时，您能确认将max_length设置为大于100K吗？谢谢
max_length
hl0ma9xz4#
你好，是的，我正在运行4xA10。当我有空时，我会尝试设置更大的max_length参数再次进行测试。非常感谢！
4条答案
按热度按时间flmtquvp1#
你好，@frankxyy。我们目前不支持这种模型类型。当你尝试使用MII加载模型时，你应该会看到一个错误：
ValueError: Unsupported model type Yi。plicqrtu2#
对不起，我在第一篇帖子中错误地贴出了这个模型的名字...实际的名字是larryvrh/Yi-6B-200K-Llamafied。这个模型实际上是一个 Camel 模型。
lawou6xi3#
明白了，我会更新并再次尝试。
在此期间，您能确认一下您正在运行的硬件类型吗？根据我在另一个问题中看到的情况，您正在运行4xA10,对吗？另外，当您运行提示符时，您能确认将
max_length设置为大于100K吗？谢谢hl0ma9xz4#
你好，是的，我正在运行4xA10。当我有空时，我会尝试设置更大的max_length参数再次进行测试。非常感谢！