🚀 功能
Python的MLC包目前是从一个自定义的wheel服务器上按照https://mlc.ai/package/上的说明进行安装的。如果wheels也能发布到http://pypi.org/,那么它们就可以在没有额外说明的情况下被安装了,这将非常棒。
动机
我正在尝试让我的项目LLM尽可能地简化人们安装和运行语言模型的过程。
我有一个用于MLC的插件:https://github.com/simonw/llm-mlc#installation - 但目前该插件的安装说明如下:
在与llm
相同的环境中安装此插件。
你需要手动安装两个依赖项 - mlc-chat-nightly
和mlc-ai-nightly
- 因为从一个平台到另一个平台的安装过程尚未自动化。
这些步骤是described in detail on the mlc.ai/package站点。
如果你使用的是Apple Silicon M1/M2 Mac,你可以运行以下命令:
llm mlc pip install --pre --force-reinstall \
mlc-ai-nightly \
mlc-chat-nightly \
-f https://mlc.ai/wheels
这里的llm mlc pip
命令确保pip
将在与llm
本身相同的虚拟环境中运行。
对于其他系统,执行follow the instructions here。
这比我想要的复杂得多!
如果MLC包可以在PyPI上可用,我可以把所有这些都缩减到只有一行代码:
llm install llm-mlc
并且让这个包依赖于官方的wheels。
3条答案
按热度按时间pbossiut1#
从查看 https://mlc.ai/package/ 来看,自定义安装机制的主要需求是不同版本的CUDA。
你是否有关于每个软件包下载次数的统计数据?如果发现绝大多数人没有获取CUDA软件包,那么将现有的
mlc-ai-nightly
和mlc-chat-nightly
软件包推送到PyPI(Windows/Mac/Linux会自动从PyPI获取正确的wheel文件)可能是一个好解决方案。你仍然可以为CUDA用户创建自定义页面,但你也可以将这些软件包发布到PyPI,并告诉你的CUDA用户根据他们的版本选择
pip install mlc-ai-nightly-cu116
、mlc-ai-nightly-cu117
或mlc-ai-nightly-cu118
。e4yzc0pl2#
CC @tqchen 添加PyPi包将是一个很好的补充,但我们可能需要检查PyPi包大小限制。
b1uwtaje3#
PyPI的大小限制是灵活的——如果你认为有必要,可以向他们提交支持请求以增加你的包的大小限制(我认为MLC应该被视为增加这种限制的理由)。