我目前能够使用提供的脚本部署、查询和关闭模型。然而，与单独使用DeepSpeed推理不同，我无法弄清楚如何将最大生成令牌数从1024更改为其他值。我认为这目前不受支持，但我可能是错误的。

我认为问题出在这里：
DeepSpeed-MII/mii/models/load_models.py
第73行到第80行 79b56af
| | engine=deepspeed.init_inference(getattr(inference_pipeline, |
| | "model", |
| | inference_pipeline), |
| | mp_size=world_size, |
| | dtype=mii_config.torch_dtype(), |
| | replace_method='auto', |
| | enable_cuda_graph=mii_config.enable_cuda_graph, |
| | **ds_kwargs) |
需要传递一个名为 max_tokens 的参数。如果我猜对了，这应该是一个相当简单的修复。如果我能解决它，我可能会为此创建一个PR。