DeepSpeed-MII 配置服务器日志级别

00jrzges  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(103)

请在mii.serve()函数中添加一个或多个参数以控制来自RESTful API服务器的日志。您可以参考vLLM中的-log-配置参数:https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html#command-line-arguments-for-the-server
特别是在启动时,当有大量日志(来自多个进程)时,这一点尤为重要。

lawou6xi

lawou6xi1#

你好@sedletsky-f5 -我们会尽量优先处理这个问题。同时,如果你有能力或愿意的话,你是否考虑提交一个PR,我们可以审查并合并它?

xwbd5t1u

xwbd5t1u2#

感谢@loadams,我会等待您的实现(我没有进入代码进行此更改)

相关问题