你好,我从huggingface提供了这个模型:01-ai/Yi-6B-200K。当请求长度为100K的输入时,会出现这个错误:
flmtquvp1#
你好,@frankxyy。我们目前不支持这种模型类型。当你尝试使用MII加载模型时,你应该会看到一个错误:ValueError: Unsupported model type Yi。
ValueError: Unsupported model type Yi
plicqrtu2#
对不起,我在第一篇帖子中错误地贴出了这个模型的名字...实际的名字是larryvrh/Yi-6B-200K-Llamafied。这个模型实际上是一个 Camel 模型。
lawou6xi3#
明白了,我会更新并再次尝试。
在此期间,您能确认一下您正在运行的硬件类型吗?根据我在另一个问题中看到的情况,您正在运行4xA10,对吗?另外,当您运行提示符时,您能确认将max_length设置为大于100K吗?谢谢
max_length
hl0ma9xz4#
你好,是的,我正在运行4xA10。当我有空时,我会尝试设置更大的max_length参数再次进行测试。非常感谢!
4条答案
按热度按时间flmtquvp1#
你好,@frankxyy。我们目前不支持这种模型类型。当你尝试使用MII加载模型时,你应该会看到一个错误:
ValueError: Unsupported model type Yi
。plicqrtu2#
对不起,我在第一篇帖子中错误地贴出了这个模型的名字...实际的名字是larryvrh/Yi-6B-200K-Llamafied。这个模型实际上是一个 Camel 模型。
lawou6xi3#
明白了,我会更新并再次尝试。
在此期间,您能确认一下您正在运行的硬件类型吗?根据我在另一个问题中看到的情况,您正在运行4xA10,对吗?另外,当您运行提示符时,您能确认将
max_length
设置为大于100K吗?谢谢hl0ma9xz4#
你好,是的,我正在运行4xA10。当我有空时,我会尝试设置更大的max_length参数再次进行测试。非常感谢!