当我执行命令:ollama run llama2时,出现了与数据信息相关的错误。
我只有一块128G的GPU。我需要更多的GPU吗?我可以在本地笔记本电脑上使用两块GPU运行它,没有任何错误。
uplii1fm1#
您能分享一些关于您的系统的额外信息吗?您有什么样的GPU?Windows版本,nvidia驱动程序版本。这可能是一个软件缺陷,但我也从一个硬件故障的系统上看到了这种行为。您在GPU上运行其他应用程序时没有问题吗?
zi8p0yeb2#
系统:Windows Server 2022GPU: NVIDIA RTX A6000nvidia驱动版本:31.0.15.5123您能分享一些关于您系统的额外信息吗?您使用的是哪种GPU?Windows版本,nvidia驱动版本。这可能是一个软件缺陷,但我也从一个有硬件故障的系统中看到过这种行为。在您的GPU上运行其他应用程序时没有问题吗?系统:Windows Server 2022GPU: NVIDIA RTX A6000nvidia驱动版本:31.0.15.5123
o75abkj43#
其他程序没有这个问题。
vulvrdjw4#
在0.1.27(基于错误行号运行的版本)和0.1.29之间进行快速代码检查,我看到在ggml-cuda.cu(崩溃发生的地方)的llama.cpp上游做了很多更改。我还没有找到导致崩溃的根本原因,但你可能想尝试一下0.1.29,看看是否能解决问题。如果不能,我们将继续深入挖掘,以了解缺陷所在。
whitzsjs5#
在0.1.27(基于错误行号运行的版本)和0.1.29之间进行快速代码检查,我发现在llama.cpp和ggml-cuda.cu(崩溃发生的地方)上游已经做了很多更改。我还没有找到导致崩溃的根本原因,但你可能想尝试一下0.1.29,看看是否能解决问题。如果不能,我们将继续深入挖掘,以了解缺陷所在。我已经将软件更新到版本0.1.29,但问题仍然存在。
pbwdgjma6#
这是否是最新版本的仍然存在的问题?如果是,您能分享一个设置了OLLAMA_DEBUG=1的服务器日志吗?
6条答案
按热度按时间uplii1fm1#
您能分享一些关于您的系统的额外信息吗?您有什么样的GPU?Windows版本,nvidia驱动程序版本。
这可能是一个软件缺陷,但我也从一个硬件故障的系统上看到了这种行为。您在GPU上运行其他应用程序时没有问题吗?
zi8p0yeb2#
系统:Windows Server 2022
GPU: NVIDIA RTX A6000
nvidia驱动版本:31.0.15.5123
您能分享一些关于您系统的额外信息吗?您使用的是哪种GPU?Windows版本,nvidia驱动版本。
这可能是一个软件缺陷,但我也从一个有硬件故障的系统中看到过这种行为。在您的GPU上运行其他应用程序时没有问题吗?
系统:Windows Server 2022
GPU: NVIDIA RTX A6000
nvidia驱动版本:31.0.15.5123
o75abkj43#
其他程序没有这个问题。
vulvrdjw4#
在0.1.27(基于错误行号运行的版本)和0.1.29之间进行快速代码检查,我看到在ggml-cuda.cu(崩溃发生的地方)的llama.cpp上游做了很多更改。我还没有找到导致崩溃的根本原因,但你可能想尝试一下0.1.29,看看是否能解决问题。如果不能,我们将继续深入挖掘,以了解缺陷所在。
whitzsjs5#
在0.1.27(基于错误行号运行的版本)和0.1.29之间进行快速代码检查,我发现在llama.cpp和ggml-cuda.cu(崩溃发生的地方)上游已经做了很多更改。我还没有找到导致崩溃的根本原因,但你可能想尝试一下0.1.29,看看是否能解决问题。如果不能,我们将继续深入挖掘,以了解缺陷所在。
我已经将软件更新到版本0.1.29,但问题仍然存在。
pbwdgjma6#
这是否是最新版本的仍然存在的问题?如果是,您能分享一个设置了OLLAMA_DEBUG=1的服务器日志吗?