如果一个人想要在一个强大的计算机上托管一个或多个模型,并仅向选定的少数人(而非整个世界)提供访问权限,我建议实现某种用户功能。
主机
主机设备需要安装Ollama,安装模型并进行端口转发。主机设备可以创建用户、删除用户、列出用户等。用户可以使用API密钥,每个API密钥都附加有一个名称,以便知道该API密钥对应的用户。或者用户可以使用用户名和密码。主机中需要添加新的命令,如user create
、user rename
、user delete
等。
远程
要远程访问Ollama,您需要使用API密钥或使用用户名和密码登录。Ollama CLI将允许您从远程设备添加和删除模型。需要添加新的命令,如remote add model
、remote remove model
、list remote models
、remote login
、remote logout
、remove list logins
等。
为了在权限方面也让每个用户都有排名,将有管理员用户,他们拥有所有权限。然后是具有最多权限的版主,接下来是权限最少的用户,他们只能使用服务,但不能修改服务。
此功能还将使Ollama在移动设备上的更多用例得以实现。通过在具有运行模型所需硬件规格的远程设备上运行模型,移动设备无需在设备上安装模型。由于移动设备硬件性能低于桌面硬件,用户可以在互联网上设置一个Ollama主机并在手机上使用Ollama。
我还建议在远程设备与主机设备之间的连接上实现良好的加密。
1条答案
按热度按时间wa7juj8i1#
禁用聊天记录/日志选项在与其他人一起使用Ollama服务器时也会很好