错误描述

我最近使用RaptorPack进行了一些实验，一切看起来都正常。唯一的问题是RaptorPack的token计数器无法正常工作，因此我无法获得消耗了多少个令牌的准确指标。无论是嵌入令牌计数器还是llm计数器都无法正常工作。计数器始终保持为0。
我尝试了以下方法，对我来说对于只有一个令牌计数器的llm是有效的。我注意到如果我更改

token_counter = TokenCountingHandler(tokenizer=tiktoken.encoding_for_model("gpt-4-1106-preview").encode)
callbackManager = CallbackManager([token_counter])
llm=OpenAI(model="gpt-4-1106-preview", temperature=0, callback_manager=CallbackManager([token_counter]))
response = llm.complete("hello")
token_counter.total_llm_token_count

是否以错误的方式使用了回调管理器和令牌计数器？

版本

0.10.6

重现步骤

import tiktoken
from llama_index.core.callbacks import CallbackManager, TokenCountingHandler
embedding_token_counter = TokenCountingHandler(tokenizer=tiktoken.encoding_for_model("text-embedding-ada-002").encode)
token_counter = TokenCountingHandler(tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
callbackManager = CallbackManager([token_counter])
custom_pack_google_doc_tree = RaptorPack(
 documents=llama_index_documents,
 embed_model=OpenAIEmbedding(
 model="text-embedding-ada-002",
 callback_manager=CallbackManager([embedding_token_counter])
 ), # used for embedding clusters
 llm=OpenAI(model="gpt-3.5-turbo", temperature=0, callback_manager=callbackManager), # used for generating summaries
 vector_store=vector_store, # used for storage
 similarity_top_k=5, # top k for each layer, or overall top-k for collapsed
 mode="tree_traversal", # sets default mode
 transformations=[
 SentenceSplitter(chunk_size=400, chunk_overlap=50)
 ], # transformations applied for ingestion
 summary_prompt=RAPTOR_SUMMARY_PROMPT,
 )

相关日志/回溯

• 无响应*