DeepSpeed-MII 无效的参数:bricks服务

tktrz96b  于 3个月前  发布在  其他
关注(0)|答案(1)|浏览(50)

传递 top_k=0 (无效值) 将引发异常,永远不会继续在主线程上进行。我无法使用客户端调用任何进一步的函数,使服务陷入僵局。
然后我重新启动了相同的 Python 脚本,但是当我尝试调用客户端函数时遇到了问题。如果我们无法调用 client.terminate(),是否存在某种状态/资源会持久化?

a7qyws3x

a7qyws3x1#

可能有一个没有关闭的进程。如果可能,你能查看正在运行的Python进程(ps aux | grep python)并手动杀死它们吗?
此外,这也指出了我们需要在生成kwargs时进行更好的值检查。我会一起提交一个PR,以更优雅地处理无效值。

相关问题