这似乎是Nvidia/AMD GPU上的kv缓存的问题。参见ggerganov/llama.cpp#2838
igsr9ssn1#
值得注意的是,设置 temperature: 0 似乎也没有给出一致的结果。尽管在相关工单中有提到。不确定这是否是一个相关问题还是一个独立的问题。请参阅 #5012 以获取可复现的错误
temperature: 0
1条答案
按热度按时间igsr9ssn1#
值得注意的是,设置
temperature: 0
似乎也没有给出一致的结果。尽管在相关工单中有提到。不确定这是否是一个相关问题还是一个独立的问题。请参阅 #5012 以获取可复现的错误