你好，我已经在LLaVA repo上发布了这个问题，不确定这个问题是否是Ollama中的实现问题。有什么想法吗？
qpgpyjmq1#
你在使用fp16版本吗？我认为在线演示使用的是模型的未量化版本。
bxfogqkk2#
感谢您将问题与Ollama和LLaVA一起发布。在Ollama方面，我的担忧是默认模型使用Mistral,但在更高参数下仅支持的唯一模型使用Vicuna。请参阅Discord以获取更多信息。较低参数的模型支持Vicuna和Mistral。
67up9zun3#
@easp@donbr感谢你的思考。我在不同的硬件设置上测试了vicuna和mistral版本，它们都产生了相同的问题。这可能与Ollama端的不同实现有关，正如here所指出的？
92vpleto4#
是的，Lava1.6将图像分割成多个低分辨率图像进行处理，从而提高了其性能。如果没有这个修改(另一个pr仍在等待中),当前实现将无法达到模型的所有性能。
zhte4eai5#
这实际上会极大地改善OCR操作(尝试引起@jmorganca的注意：)
rekjcdws6#
对于错过的更新，我表示歉意。建议我们与llava团队合作，以改进我们的测试场景。我在他们的GitHub上发布了一个相关的讨论项目。
rn0zuynd7#
你是否收到了来自@jmorganca的回复？Ollama目前有哪些形式的回归测试用于LLaVA?我的测试用例是对比LLaVA/OpenAI/Gemini在图像分析方面的能力，以及它们区分狼人和狼人之间的区别的能力。在Ollama上的LLaVA 1.5版本表现一直比其他版本更好，直到1.6版本。
0tdrvxhp8#
是的，Llava1.6将一张图像分割成多个低分辨率图像进行处理，从而提高了其性能。如果没有这个修改(另一个pr仍在等待中),当前实现可能无法达到模型的所有性能。
这个问题是否已经整合了？我正在运行最新的Ollama 0.1.38,但仍然看到这个问题：haotian-liu/LLaVA#1497 (评论)谢谢！
8条答案
按热度按时间qpgpyjmq1#
你在使用fp16版本吗？我认为在线演示使用的是模型的未量化版本。
bxfogqkk2#
感谢您将问题与Ollama和LLaVA一起发布。在Ollama方面，我的担忧是默认模型使用Mistral,但在更高参数下仅支持的唯一模型使用Vicuna。请参阅Discord以获取更多信息。较低参数的模型支持Vicuna和Mistral。
67up9zun3#
@easp@donbr感谢你的思考。我在不同的硬件设置上测试了vicuna和mistral版本，它们都产生了相同的问题。这可能与Ollama端的不同实现有关，正如here所指出的？
92vpleto4#
是的，Lava1.6将图像分割成多个低分辨率图像进行处理，从而提高了其性能。如果没有这个修改(另一个pr仍在等待中),当前实现将无法达到模型的所有性能。
zhte4eai5#
这实际上会极大地改善OCR操作(尝试引起@jmorganca的注意：)
rekjcdws6#
对于错过的更新，我表示歉意。建议我们与llava团队合作，以改进我们的测试场景。我在他们的GitHub上发布了一个相关的讨论项目。
rn0zuynd7#
你是否收到了来自@jmorganca的回复？Ollama目前有哪些形式的回归测试用于LLaVA?
我的测试用例是对比LLaVA/OpenAI/Gemini在图像分析方面的能力，以及它们区分狼人和狼人之间的区别的能力。在Ollama上的LLaVA 1.5版本表现一直比其他版本更好，直到1.6版本。
0tdrvxhp8#
是的，Llava1.6将一张图像分割成多个低分辨率图像进行处理，从而提高了其性能。如果没有这个修改(另一个pr仍在等待中),当前实现可能无法达到模型的所有性能。
这个问题是否已经整合了？
我正在运行最新的Ollama 0.1.38,但仍然看到这个问题：haotian-liu/LLaVA#1497 (评论)
谢谢！