发生了什么？没有提到如何将层卸载到GPU上
文档
Linux
bvjveswy1#
同样的问题
klr1opcd2#
@RonanKMcGovern 我似乎已经解决了这个问题。你检查过你的llama.cpp是否支持CUDA编译了吗？
carvr3hs3#
谢谢，顺便说一下，对我来说一切都运行得很好。我只是指出文档没有解释如何包含-ngl,祝你好运...
2024年7月22日星期一上午8:21ReXommendation ***@***.***>写道： @RonanKMcGovern < https://github.com/RonanKMcGovern > 我似乎已经解决了这个问题。你检查过你的llama.cpp是否支持CUDA吗？ — 直接回复此电子邮件，查看GitHub上的<#8605 (comment)>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/ASVG6CQMYIRRJPIUUTV2PTDZNSXGJAVCNFSM6AAAAABLGG6CAWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDENBSGI3DCOJZGI >。你收到这封邮件是因为有人提到了你。消息ID: ***@***.***>
3条答案
按热度按时间bvjveswy1#
同样的问题
klr1opcd2#
@RonanKMcGovern 我似乎已经解决了这个问题。你检查过你的llama.cpp是否支持CUDA编译了吗？
carvr3hs3#
谢谢，顺便说一下，对我来说一切都运行得很好。我只是指出文档没有解释如何包含-ngl,祝你好运...
2024年7月22日星期一上午8:21
ReXommendation ***@***.***>写道： @RonanKMcGovern < https://github.com/RonanKMcGovern > 我似乎已经解决了这个问题。你检查过你的llama.cpp是否支持CUDA吗？ — 直接回复此电子邮件，查看GitHub上的<#8605 (comment)>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/ASVG6CQMYIRRJPIUUTV2PTDZNSXGJAVCNFSM6AAAAABLGG6CAWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDENBSGI3DCOJZGI >。你收到这封邮件是因为有人提到了你。消息ID: ***@***.***>