我对在LMQL中添加类似this PR的CTranslate2支持感兴趣，该功能为autogptq提供了支持。实际上，似乎大部分工作需要在CTranslate2中完成，以提供高级HF Transformers "CTranslate2ForCausalLM"模型接口。
我了解到ctranslate2.Generator已经为语言模型文本生成提供了非常高级的接口，但通过提供HF Transformers接口，CTranslate2可以轻松地添加到许多其他框架中，如LMQL和微软的指导。
你怎么看？谢谢😁
3条答案
按热度按时间w7t8yxp51#
第二！https://github.com/normal-computing/outlines 的开发人员也会从这样的支持中受益。
e4yzc0pl2#
看起来其他前端正在他们的代码库中添加胶水以支持ctranslate2推理：https://github.com/Preemo-Inc/text-generation-inference/pull/1/files#diff-aae772a4b6c3433949bf62484be62e1c4c1af6af91276820697f71345d93dea7
我不知道许可是如何工作的，但可能值得在这里获取/询问相关部分作为PR。
eqoofvh93#
看起来其他前端正在他们的代码库中添加胶水以支持ctranslate2推理：https://github.com/Preemo-Inc/text-generation-inference/pull/1/files#diff-aae772a4b6c3433949bf62484be62e1c4c1af6af91276820697f71345d93dea7
我不知道许可是如何工作的，但可能值得在这里获取/询问相关部分作为PR。
我开发了这部分。您非常欢迎(从我的Angular )选择并将其集成到CTranslate2中！