matplotlib 如何绘制K-mean算法的混淆/相似度矩阵

6ljaweal  于 2023-05-01  发布在  其他
关注(0)|答案(1)|浏览(128)

我使用scikit learn应用K-mean算法对一些文本文档进行分类,并显示聚类结果。我想在相似性矩阵中显示我的聚类的相似性。我在scikit learn库中没有看到任何允许这样做的工具。

# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(headlines)

有没有什么方法/库可以让我轻松地画出这个余弦相似矩阵?

xqnpmsa8

xqnpmsa81#

如果我理解正确的话,您会产生一个类似于here所示的混淆矩阵。然而,这需要可以相互比较的truthprediction。假设您有一些黄金标准来将标题分类为k组(truth),您可以将其与KMeans聚类(prediction)进行比较。
唯一的问题是KMeans聚类对truth是不可知的,这意味着它产生的聚类标签将不会与黄金标准组的标签匹配。但是,有一种解决方法,即基于最佳匹配将kmeans labelstruth labels匹配。
这里有一个例子来说明这是如何工作的。
首先,让我们生成一些示例数据-在本例中,100个样本,每个样本有50个特征,从4个不同的(略有重叠的)正态分布中采样。细节无关紧要;所有这一切都是为了模拟您可能使用的数据集类型。在这种情况下,truth是生成样本的正态分布的平均值。

# User input
n_samples  = 100
n_features =  50

# Prep
truth = np.empty(n_samples)
data  = np.empty((n_samples, n_features))
np.random.seed(42)

# Generate
for i,mu in enumerate(np.random.choice([0,1,2,3], n_samples, replace=True)):
    truth[i]  = mu
    data[i,:] = np.random.normal(loc=mu, scale=1.5, size=n_features)

# Show
plt.imshow(data, interpolation='none')
plt.show()

接下来,我们可以应用PCA和KMeans。
请注意,我不确定PCA在您的示例中的确切位置,因为您实际上并没有使用PC进行KMeans,而且还不清楚您转换的数据集to_headlines是什么。
在这里,我转换输入数据本身,然后使用PC进行KMeans聚类。我还使用输出来说明 Saikat Kumar Dey 在评论您的问题时建议的可视化:点用聚类标签着色的散点图。

# PCA
pca = PCA(n_components=2).fit(data)
data2D = pca.transform(data)

# Kmeans
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(data2D)

# Show
plt.scatter(data2D[:, 0], data2D[:, 1],
            c=km.labels_, edgecolor='')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

接下来,我们必须找到我们在开始时生成的truth labels(这里是采样正态分布的mu)和聚类生成的kmeans labels之间的最佳匹配对
在这个例子中,我只是简单地匹配它们,以使真阳性预测的数量最大化。* 请注意,这是一个简单的,快速和肮脏的解决方案!*
如果您的预测总体上相当好,并且如果每个组在数据集中由相似数量的样本表示,那么它可能会按预期工作-否则,它可能会产生错配/合并,并且您可能会高估聚类的质量。

  • 欢迎提出更好的解决方案。*
# Prep
k_labels = km.labels_  # Get cluster labels
k_labels_matched = np.empty_like(k_labels)

# For each cluster label...
for k in np.unique(k_labels):

    # ...find and assign the best-matching truth label
    match_nums = [np.sum((k_labels==k)*(truth==t)) for t in np.unique(truth)]
    k_labels_matched[k_labels==k] = np.unique(truth)[np.argmax(match_nums)]

现在我们已经匹配了truthspredictions,我们终于可以计算并绘制混淆矩阵

# Compute confusion matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(truth, k_labels_matched)

# Plot confusion matrix
plt.imshow(cm,interpolation='none',cmap='Blues')
for (i, j), z in np.ndenumerate(cm):
    plt.text(j, i, z, ha='center', va='center')
plt.xlabel("kmeans label")
plt.ylabel("truth label")
plt.show()

希望这有帮助!

相关问题