使用client = mii.serve(model),我们需要提供一个回调函数，如何正确地流式传输令牌？
client = mii.serve(model)
xmq68pz91#
你好@mevince,我们目前正在为#311提供适当的流支持。您可以使用pip install git+https://github.com/Microsoft/DeepSpeed-MII@jeffra/readable-streaming尝试该分支。描述中有示例代码，说明如何进行令牌流处理。
pip install git+https://github.com/Microsoft/DeepSpeed-MII@jeffra/readable-streaming
1条答案
按热度按时间xmq68pz91#
你好@mevince,我们目前正在为#311提供适当的流支持。您可以使用
pip install git+https://github.com/Microsoft/DeepSpeed-MII@jeffra/readable-streaming尝试该分支。描述中有示例代码，说明如何进行令牌流处理。