inference 当推理Gemma-2时,响应重复,

11dmarpk  于 6个月前  发布在  其他
关注(0)|答案(4)|浏览(92)

描述bug

在模型启动后,响应会重复直到达到最大令牌数。
示例:当我问“你好”时,它会回答“你好”,一直重复到达到最大令牌数。

vc9ivgsu

vc9ivgsu1#

你在使用Transformers引擎吗?

sy5wg1nm

sy5wg1nm2#

$y = mx+n$

其中,m是斜率,x是自变量,y是因变量,n是截距。

dy1byipe

dy1byipe3#

我可以复现这个问题,但我不知道Transformers引擎发生了什么,现在其他格式应该也能正常工作。

ekqde3dh

ekqde3dh4#

我可以复现这个,但我不知道Transformers引擎发生了什么,现在其他格式应该也能正常工作。
默认的transformers生成函数是有效的

相关问题