在rerank模型启动时,页面支持选择use_fp16参数,目前只能自己掉接口传入参数,希望页面支持配置。
Rerank模型在做知识问答时,文档过多的情况下比较耗时,我们在测试发现使用半精度的rerank速度能得到提升,希望xinf有可视化页面可以配置这些额外的参数。
增加自定义参数的配置。
ecbunoof1#
似乎和 #1897 是同一个问题。
k2fxgqgv2#
是的,那个是我另外一个同事提的,提重复了。
2条答案
按热度按时间ecbunoof1#
似乎和 #1897 是同一个问题。
k2fxgqgv2#
是的,那个是我另外一个同事提的,提重复了。