描述

训练语料库的标记系统似乎导致了model.docvecs上的模糊索引。

步骤/代码/语料库以重现

此示例是the main demo中代码片段的轻微修改版本。

import os
import smart_open
import gensim

# Set file names for train and test data
test_data_dir = '{}'.format(os.sep).join([gensim.__path__[0], 'test', 'test_data'])
lee_train_file = test_data_dir + os.sep + 'lee_background.cor'

def read_corpus(fname, offset = 0):
    with smart_open.smart_open(fname, encoding="iso-8859-1") as f:
        for i, line in enumerate(f):
            yield gensim.models.doc2vec.TaggedDocument(gensim.utils.simple_preprocess(line), [i + offset])

def build_model(corpus):
    model = gensim.models.doc2vec.Doc2Vec(vector_size=50, min_count=2, epochs=55)
    model.build_vocab(corpus)
    model.train(corpus, total_examples=model.corpus_count, epochs=model.epochs)
    return model

corpus = list(read_corpus(lee_train_file))
offset_corpus = list(read_corpus(lee_train_file, offset = 100))

model = build_model(corpus)
offset_model = build_model(offset_corpus)

预期结果

两个模型之间的唯一区别在于训练语料库使用不同的标签集。

1. 两个模型的训练文档数量相同，因此我期望len(model.docvecs) == len(offset_model.docvecs)。
2. offset_corpus.docvecs[0] 应该抛出一个错误，因为0不在它的标签中。
3. 或者，如果不满足(2),则offset_corpus.docvecs[0]应该对应于第一个文档，在这种情况下，offset_corpus.docvecs[0] == offset_corpus.docvecs[100]。具体来说，请注意offset_corpus.docvecs[399]似乎返回了一个有效结果。

实际结果

(1)、(2)或(3)都不成立。

版本

>>> import platform; print(platform.platform())
Darwin-16.7.0-x86_64-i386-64bit
>>> import sys; print("Python", sys.version)
Python 3.6.1 |Anaconda 4.4.0 (x86_64)| (default, May 11 2017, 13:04:09)
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)]
>>> import numpy; print("NumPy", numpy.__version__)
NumPy 1.14.2
>>> import scipy; print("SciPy", scipy.__version__)
SciPy 1.0.1
>>> import gensim; print("gensim", gensim.__version__)
gensim 3.4.0
>>> from gensim.models import word2vec;print("FAST_VERSION", word2vec.FAST_VERSION)
FAST_VERSION 0