DeepSpeed-MII RESTful API的性能

dgsult0t  于 3个月前  发布在  其他
关注(0)|答案(9)|浏览(65)

我已经测量了Mistral 7B在有和没有Restful API的情况下的性能,分别得到了7.1次/秒和0.48次/秒。
(平均输入/输出标记:232/208,A100 80GB)

deyfvvtc

deyfvvtc1#

你好,@kihanc,我们已经意识到与RESTful API相关的性能问题,并将很快提供有关此功能的更新。谢谢。

pxq42qpu

pxq42qpu2#

请尝试使用最新的main分支。我已经进行了改进,使我们能够将RESTful API的性能与我们的Python API相匹配(参见#328)。

vnjpjtjt

vnjpjtjt3#

请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。
嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听在 localhost 上。

06odsfpq

06odsfpq4#

请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。
嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。
我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。

qnyhuwrf

qnyhuwrf5#

请尝试使用最新的 main 分支。我已经进行了改进,使我们能够将 RESTful API 的性能与我们的 Python API 相匹配(参见 #328 )。
嘿,我怎么能让 Restful 以 0.0.0.0 而不是 localhost 启动并监听?我经常遇到这样的情况:我在远程机器上部署了应用程序,但无法使用外部 API 工具(如 Postman)进行测试,因为它只监听 localhost。
我认为它默认使用 localhost,没有设置选项,你可以在本地修改这个文件,直到他们添加一个设置主机名的选项。
谢谢!

yi0zb3m4

yi0zb3m46#

感谢快速的更新!您的测试代码在我们这边运行得很好。但是,如果我们一次发送超过100个请求,情况就会变得不稳定,连接会被重置。如果您能在API服务器上添加对并发连接的支持,那就太棒了。

ykejflvf

ykejflvf7#

$x_1m_0n_1^x$ (默认为 $32$) 会有所帮助吗?也许尝试 $x_1m_1n_1^x$ 会更好?

oogrdqng

oogrdqng8#

@mrwyattii 我已经尝试过那个方法,但没有帮助。

ghg1uchk

ghg1uchk9#

我们是否对此问题有任何更新?当请求速率较高时,我也观察到"连接重置"失败。

相关问题