我使用scikit learn应用K-mean算法对一些文本文档进行分类,并显示聚类结果。我想在相似性矩阵中显示我的聚类的相似性。我在scikit learn库中没有看到任何允许这样做的工具。
# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(headlines)
有没有什么方法/库可以让我轻松地画出这个余弦相似矩阵?
1条答案
按热度按时间xqnpmsa81#
如果我理解正确的话,您会产生一个类似于here所示的混淆矩阵。然而,这需要可以相互比较的
truth
和prediction
。假设您有一些黄金标准来将标题分类为k
组(truth
),您可以将其与KMeans聚类(prediction
)进行比较。唯一的问题是KMeans聚类对
truth
是不可知的,这意味着它产生的聚类标签将不会与黄金标准组的标签匹配。但是,有一种解决方法,即基于最佳匹配将kmeans labels
与truth labels
匹配。这里有一个例子来说明这是如何工作的。
首先,让我们生成一些示例数据-在本例中,100个样本,每个样本有50个特征,从4个不同的(略有重叠的)正态分布中采样。细节无关紧要;所有这一切都是为了模拟您可能使用的数据集类型。在这种情况下,
truth
是生成样本的正态分布的平均值。接下来,我们可以应用PCA和KMeans。
请注意,我不确定PCA在您的示例中的确切位置,因为您实际上并没有使用PC进行KMeans,而且还不清楚您转换的数据集
to_headlines
是什么。在这里,我转换输入数据本身,然后使用PC进行KMeans聚类。我还使用输出来说明 Saikat Kumar Dey 在评论您的问题时建议的可视化:点用聚类标签着色的散点图。
接下来,我们必须找到我们在开始时生成的
truth labels
(这里是采样正态分布的mu
)和聚类生成的kmeans labels
之间的最佳匹配对。在这个例子中,我只是简单地匹配它们,以使真阳性预测的数量最大化。* 请注意,这是一个简单的,快速和肮脏的解决方案!*
如果您的预测总体上相当好,并且如果每个组在数据集中由相似数量的样本表示,那么它可能会按预期工作-否则,它可能会产生错配/合并,并且您可能会高估聚类的质量。
现在我们已经匹配了
truths
和predictions
,我们终于可以计算并绘制混淆矩阵。希望这有帮助!