香草味的DeepSpeed-Inference接口允许配置不同的参数，例如max_output_tokens,但MII不支持。在这里我们可以看到，当模型部署时，只有在启用ds_zero时才会使用DeepSpeed Inference Config参数。
max_output_tokens
ds_zero
tv6aics11#
你好，@rex-asabor MII生成推理配置并将其传递给deepspeed.init_inference。但是你是正确的，我们不允许用户设置所有的推理配置值(例如max_output_tokens)。我们目前正在进行一些重构以改进MII。听起来将额外的kwargs传递给DeepSpeed-Inference的能力会帮助你吗？如果是这样的话，我们可以将其添加到我们的改进列表中！
deepspeed.init_inference
1条答案
按热度按时间tv6aics11#
你好，@rex-asabor MII生成推理配置并将其传递给
deepspeed.init_inference。但是你是正确的，我们不允许用户设置所有的推理配置值(例如max_output_tokens)。我们目前正在进行一些重构以改进MII。听起来将额外的kwargs传递给DeepSpeed-Inference的能力会帮助你吗？如果是这样的话，我们可以将其添加到我们的改进列表中！