DeepSpeed-MII 如何设置停止标记?

ilmyapht  于 3个月前  发布在  其他
关注(0)|答案(3)|浏览(42)

在DeepSpeed MII中实现一个stopping_criteria文本生成,以便在换行符或自定义标记处停止?

xzv2uavs

xzv2uavs1#

你好,PawanOsman!我在#280中添加了这个功能,但是在某些情况下观察到了意外的行为,所以我没有将其添加到我们的官方文档中。我计划调试我所看到的问题,并在本星期确定它能正确工作时更新文档。
在此期间,你可以自己测试它,并报告出现的任何问题:
client.generate(prompt, stop="\n") (输入可以是token_id或字符串)

nwo49xxi

nwo49xxi2#

非常感谢,是否可以提供一个令牌列表?或者只能提供一个令牌?

rqmkfv5c

rqmkfv5c3#

目前我们仅支持单个令牌,但我可以扩展此功能以支持多个。

相关问题