llama.cpp llama cpp服务器无法打开给公众

wtzytmuj 于 2个月前发布在其他

关注(0)|答案(3)|浏览(122)

Darwin Feedloops-Mac-Studio.local 23.2.0 Darwin 内核版本 23.2.0: 周三 11月15日 21:55:06 PST 2023; root:xnu-10002.61.3~2/RELEASE_ARM64_T6020 arm64
示例我的公共IP是： http://36.54.42.112
重现步骤：

python -m http.server --bind 0.0.0.0 8082,可以从localhost:8082和http://36.54.42.112:8082访问。
./server -m ../models/mistral-7b-openorca.Q8_0.gguf -c 2048 --host 0.0.0.0 --port 8082 -ngl 33 -cb -np 32
可以从localhost:8082/v1/models访问，但无法从http://36.54.42.112:8082/v1/models访问。
有任何建议吗？谢谢。

llama.cpp

来源：https://github.com/ggerganov/llama.cpp/issues/6268

3条答案

按热度按时间

epfja78i1#

你好，
请验证它监听的网络类型，是IPv4还是IPv6?
我们在服务器测试中遇到了这个问题。可能需要添加一个标志来选择仅使用IPv4。
llama.cpp/examples/server/tests/features/steps/steps.py
第145行
| | addrs=socket.getaddrinfo(context.server_fqdn, context.server_port, type=socket.SOCK_STREAM) |

赞(0）回复(0）举报 2个月前

kuhbmx9i2#

查看：