问题验证
- 我已在文档和Discord中寻找答案。
问题
你好，
我使用了这段代码 https://docs.llamaindex.ai/en/stable/examples/callbacks/TokenCountingHandler/ 来计算嵌入令牌的使用次数。然而，我想进一步澄清或解释一下在LlamaIndex中嵌入令牌的总使用情况吗？
这是否意味着查询和答案的用法令牌？关于LlamaIndex中嵌入令牌使用的进一步解释非常感谢。
谢谢
你好，
我使用了这段代码 https://docs.llamaindex.ai/en/stable/examples/callbacks/TokenCountingHandler/ 来计算嵌入令牌的使用次数。然而，我想进一步澄清或解释一下在LlamaIndex中嵌入令牌的总使用情况吗？
这是否意味着查询和答案的用法令牌？关于LlamaIndex中嵌入令牌使用的进一步解释非常感谢。
谢谢
3条答案
按热度按时间f0ofjuux1#
这意味着运行查询，向嵌入模型发送了8个标记(即将查询文本发送到嵌入模型)。
kpbpu0082#
我不确定你在寻找什么？
索引使用令牌来嵌入所有文档。
查询使用较少，因为它只需要嵌入查询文本
brtdzjyr3#
感谢您的解释。基本上，我正在努力理解这个
8(嵌入令牌)代表什么？