Bug描述

TL;DR

当我多次使用 DocstoreStrategy.UPSERTS_AND_DELETE 运行 pipeline.run 时，weaviate中的对象总是在增加。我正在使用 IngestionPipeline 和 WeaviateVectorStore。pipeline.run 将调用 _handle_upserts 方法，最终调用 docstore.add_documents。在 add_documents 方法中，它将调用 _prepare_kv_pairs 以准备一个名为 metadata_kv_pairs 的元组，该元组使用 node.node_id 而不是 node.ref_doc_id 作为第一个元素。
下一次当我运行 pipeline.run 时，_handle_upserts 将调用以下代码以获取一组 node_id,

existing_doc_ids_before = set(
                self.docstore.get_all_document_hashes().values()
            )

然后它将使用 node_id 作为 ref_doc_id,并将其传递给 vector_store.delete(ref_doc_id)。WeaviateVectorStore.delete 将使用以下代码创建一个过滤器，无法找到任何匹配的数据。

where_filter = wvc.query.Filter.by_property("ref_doc_id").equal(ref_doc_id)

版本

0.10.58

重现步骤

init

vector_index_name = 'LA' 
weaviate_client = weaviate.connect_to_wcs(
    cluster_url=settings.get("WEAVIATE_CLOUD_REST_URL"),
    auth_credentials=weaviate.auth.AuthApiKey(st.secrets.WEAVIATE_API_KEY),
)

vector_store = WeaviateVectorStore(
    weaviate_client=weaviate_client, index_name=vector_index_name,
)

docstore = SimpleDocumentStore()
pipelineForTransforms = IngestionPipeline(     
    transformations=[
        SimpleFileNodeParser(),
        SentenceSplitter(chunk_size=500, chunk_overlap=100),
        Settings.embed_model
    ]
) 
pipelineForStorage = IngestionPipeline(     
    transformations=[], # dont't need transform
    docstore = docstore,
    vector_store = vector_store,
    docstore_strategy = DocstoreStrategy.UPSERTS_AND_DELETE,
)

加载数据几次，你会看到对象的数量在增加。

reader = FlatReader()

docs = reader.load_data(Path("./data/xxx.md"))

dir = os.listdir("./storage")
if len(dir) != 0:
   _pipelineForStorage.load("./storage")

nodes = _pipelineForTransform.run(documents=docs)

# save to storage
nodes = _pipelineForStorage.run(nodes=nodes)   # <------------ it will succeed, but weaviate won't delete old data

相关日志/回溯

• 无响应*