inference ChatGLM3-128k 模型实际最大输出被限制在了 4096

ufj5ltwl  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(75)

应该是这个地方的 max_model_len 限制了最大长度。

hl0ma9xz

hl0ma9xz1#

在UI上添加额外选项,key是max_model_len,value是长度。

2ekbmq32

2ekbmq322#

好的,我试一下。

相关问题