llama_index [问题]:llm.achat中是否有对数概率？

o4hqfura 于 2个月前发布在其他

关注(0)|答案(3)|浏览(35)

我想知道是否可以通过llm.achat从OpenAI API中检索log prob(参见https://platform.openai.com/docs/api-reference/chat#chat-create-logprobs),如果可以，是否有示例代码？

3条答案

嘿，@mw19930312,很高兴看到你回来！😊我会尽快回复你的！

@mw19930312 它已经是了。

llm = OpenAI(..., logprobs=True, top_logprobs=20)

response = await llm.achat([ChatMessage(role='user', content='Hello!')])

print(response.logprobs)

20是OpenAI让你选择的最高值。

是的，确实可以通过设置 logprobs=True 并指定 top_logprobs=20 来通过 llm.achat 检索对数概率，如示例代码所示。此配置可检索前20个标记的对数概率。 response.logprobs 将包含发出请求后的对数概率。

关于 Dosu

此响应旨在提供帮助并节省您的时间。它不是精确解决方案，而是您自己研究的起点。
请帮助我变得更有用！如果这有帮助，请留下一个 👍，如果无关紧要，请留下一个 👎。