one-api Oneapi添加渠道本地大模型,显示Connection refused

chhqkbe1  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(32)

例行检查

  • [ x] 我已确认目前没有类似 issue 添加本地模型到渠道后,渠道测试出错 #1159 已参照,无果
  • [ x] 我已确认我已升级到最新版本
  • [ x] 我已完整查看过项目 README,尤其是常见问题部分
  • [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [ x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ x] 私有部署版本, 具体版本号: Chatglm3-6b-base,image: ghcr.io/labring/fastgpt:v4.8.5,image: ghcr.io/songquanpeng/one-api:latest
系统:Windows11+WSL2+Ubuntu 22.04

问题描述

大模型baseurl接入oneapi后显示connection refused.
大模型:版本Chatglm3-6b-base,WSL2上运行,api_server设置uvicorn.run(app, host='127.0.0.1', port=8000, workers=1), post可访问127.0.0.1:8000,且有响应。
Fastgpt:Docker运行,端口:9091:3000, - OPENAI_BASE_URL= http://172.20.0.1:3000/v1,- Network: http://172.21.0.7:3000/
Oneapi:Docker运行,端口:3001:3000,- Network: 172.21.0.1, 渠道部署 Base url: 127.0.0.1:8000, 密钥:sk-fastgpt
报错:“utils.js:77 do request failed: Post " http://127.0.0.1:8000/v1/chat/completions ": dial tcp 127.0.0.1:8000: connect: connection refused”
测试过包括localhost, 0.0.0.0, 127.0.0.1, ipconfig下的ip地址等,皆无效。
Windows和WSL防火墙已down(启动wsl前,.wslconfig 文件已删除)
猜想:docker compose用桥接模式连接FastGPT,要如何将本地模型加入网络中?
求助大佬,感谢!

复现步骤

搭设并连接大模型,在docker上架设fastgpt+oneapi,在oneapi渠道上添加大模型base url。
参考教程:

  1. 本地化部署Fastgpt+One-API+ChatGLM3-6b知识库: https://blog.csdn.net/lachesis617/article/details/136275517
  2. FastGPT: https://doc.fastgpt.in/docs/development/intro/
  3. ChatGLM-3-6B 技术文档: https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof

预期结果

oneapi渠道连接本地chatglm3

flvtvl50

flvtvl502#

请尝试使用内网IP地址进行访问!
我直接运行是没问题的,如下所示:
【运行演示-OpenAI接口管理与分发开源应用OneAPI分享】 https://b23.tv/qVIZT2b

相关问题