inference rerank模型启动时,页面支持选择use_fp16参数

f45qwnt8  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(48)

功能建议

在rerank模型启动时,页面支持选择use_fp16参数,目前只能自己掉接口传入参数,希望页面支持配置。

动机

Rerank模型在做知识问答时,文档过多的情况下比较耗时,我们在测试发现使用半精度的rerank速度能得到提升,希望xinf有可视化页面可以配置这些额外的参数。

您的贡献

增加自定义参数的配置。

ecbunoof

ecbunoof1#

似乎和 #1897 是同一个问题。

k2fxgqgv

k2fxgqgv2#

是的,那个是我另外一个同事提的,提重复了。

相关问题