🚀 功能、动机和宣传

随着vLLM进入快速发布计划(目前每两周发布一个版本),我们将迅速达到pypi的全项目限制(每个项目约5GB)。正如在pypi/support#3792(评论)中指出的那样，一个解决方案是为所有Python版本构建一个wheel(Python 3.8+)。
我已经找到了pypi/support#3792(评论)中的程序，但pybind11不支持这种Python Limited API协议。
一个可能的解决方案是用其他一些工具替换pybind11,以便可以使用Python Limited API进行绑定过程。
可能的解决方案：

• Nanobind(似乎只从Python 3.12开始支持：Support the stable ABI for all supported CPython versions wjakob/nanobind#561 )
• 通过pytorch直接注册操作 https://pytorch.org/tutorials/advanced/torch_script_custom_ops.html