OpenAI兼容性模块不允许通过API调用动态设置tokens窗口(num_ctx)的数量，而不是每次我们想要使用另一个上下文窗口时调整Modelfile。
因此，在OpenAI兼容性中会很棒。我也可以尝试为这个项目提交PR。
非常感谢这个精彩的项目！:-)