我们正在为性能结果制作一个网站，使用不同的硬件在http://LLMPerformance.ai上运行ollama模型。如果ollama有一个标志"--benchmark",它可以输出与"--verbose"相同的所有信息，同时还添加以下信息：
CPU:
内存：
GPU:
显存：
LLM模型名称：
GPU上的LLM模型层数：
总模型层数：
Ollama版本：
操作系统：
日期：
名称等不重要，只要清楚就行。这将有助于确保报告的结果具有足够的信息以便可重复。
我们正在为性能结果制作一个网站，使用不同的硬件在http://LLMPerformance.ai上运行ollama模型。如果ollama有一个标志"--benchmark",它可以输出与"--verbose"相同的所有信息，同时还添加以下信息：
CPU:
内存：
GPU:
显存：
LLM模型名称：
GPU上的LLM模型层数：
总模型层数：
Ollama版本：
操作系统：
日期：
名称等不重要，只要清楚就行。这将有助于确保报告的结果具有足够的信息以便可重复。
1条答案
按热度按时间qncylg1j1#
有一个工具正在朝着这个方向发展。请建议如何合并我们创建此类工具的努力。
https://llm.aidatatools.com/
它叫做llm-benchmark