Chroma不允许使用重复的id,因此需要处理这个问题才能使该过程正常工作。
尝试使用不同的矢量数据库

由于块可以属于多个簇，因此存在重复项。

由于块可以属于多个簇，因此存在重复项。我们是否可以利用ChromaDB来实现这个用例？

Chroma不允许使用重复的id,这需要处理才能使此过程正常工作。
尝试使用不同的矢量数据库
可以为这个用例推荐一个更好的矢量存储，它不会最终导致重复问题。

Qdrant是一个分布式向量存储系统，它可以处理大规模的向量数据。如果您想尝试使用Qdrant,您可以访问其官方网站以获取更多信息。

我认为我尝试过的每个矢量存储都能很好地处理这个问题😅，也许可以试试qdrant。

在查询索引(Qdrant向量数据库)时，我遇到了以下问题。
代码：

from qdrant_client import QdrantClient
from llama_index.vector_stores.qdrant import QdrantVectorStore
client = QdrantClient(path="./qdrant")
vector_store = QdrantVectorStore(client=client, collection_name="dump")
from llama_index.packs.raptor import RaptorRetriever
retriever = RaptorRetriever(
 [],
 embed_model=embed_model,
 llm=llm,
 vector_store=vector_store,
 similarity_top_k=2,
 mode="tree_traversal",
)
from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.response_synthesizers.type import ResponseMode
query_engine = RetrieverQueryEngine.from_args(
 retriever, llm=llm, response_mode=ResponseMode.REFINE
)
response = query_engine.query("Explain about catalogues")
response

错误日志：

Cell In[28], line 23
17 from llama_index.core.response_synthesizers.type import ResponseMode
19 query_engine = RetrieverQueryEngine.from_args(
20 retriever, llm=llm, response_mode=ResponseMode.REFINE
21 )
 ---> 23 response = query_engine.query("Explain about catalogues")
24 response
File c:\Users\017912\AppData\Local\anaconda3\envs\dell_chatbot\Lib\site-packages\llama_index\core\instrumentation\dispatcher.py:230, in Dispatcher.span.wrapper(func, instance, args, kwargs)
226 self.span_enter(id_=id_, bound_args=bound_args, instance=instance, parent_id=parent_id)
227 try:
 --> 230 result = func(*args, **kwargs)
231 except BaseException as e:
232 self.event(SpanDropEvent(span_id=id_, err_str=str(e)))
File c:\Users\017912\AppData\Local\anaconda3\envs\dell_chatbot\Lib\site-packages\llama_index\core\base\base_query_engine.py:52, in BaseQueryEngine.query(self, str_or_query_bundle)
50 if isinstance(str_or_query_bundle, str):
51 str_or_query_bundle = QueryBundle(str_or_query_bundle)
 ---> 52 query_result = self._query(str_or_query_bundle)
53 dispatcher.event(QueryEndEvent(query=str_or_query_bundle, response=query_result))
 ...
940 query_filter=query_filter,
941 )
943 return self.parse_to_query_result(response)
AttributeError: 'NoneType' object has no attribute 'search'

from qdrant_client import QdrantClient, AsyncQdrantClient

client = QdrantClient(path="./qdrant")
client = AsyncQdrantClient(path="./qdrant")
vector_store = QdrantVectorStore(client=client, aclient =aclient, collection_name="dump")

我正在遇到一个用例，需要将多个文档的完整内容(包括图片和表格)输入到LLM/生成式AI模型中。目标是在指定的架构中生成一个连贯的内容片段，例如课程或类似的输出。
这意味着LLM/生成式AI模型需要访问每个文档的所有细节才能从它们中生成内容。
是否有替代RAG或模型微调的方法？
使用RAG,我们受到上下文长度的限制，并且完全依赖于块。
你能推荐一种实现这个用例的方法吗？