我认为问题出在前112个(16*7个块)的logits被缓存了，只有最后5个输入令牌被计算。为了返回提示的logprobs,采样器正在寻找所有117个logits,但只返回最近计算的5个logits。似乎需要返回缓存的112个logits。我不知道如何实现...
fiei3ece1#
同样的错误。
8mmmxcuj2#
在这里也出现了同样的错误！
2条答案
按热度按时间fiei3ece1#
同样的错误。
8mmmxcuj2#
在这里也出现了同样的错误！