我运行了fit_transform()函数，但返回的数组prob并没有加起来等于1。对于分配给非-1簇的数据点，我假设prob应该加起来等于1。我检查了源代码，似乎概率计算来自于hdbscan包。如果prob表示数据属于簇的概率，那么总概率应该等于1。如果不是这样，你能解释一下这些值代表什么吗？在我的案例中，prob的大部分值小于0.5。
oewdyzsn1#
这是正确的。所有概率都表示非异常主题。这意味着异常主题的概率是1减去所有其他概率的总和。
nkcskrwz2#
这是正确的。所有概率都表示非离群主题。这意味着离群主题的概率是1减去所有其他概率的总和。感谢您的回复。在数据点被分配到一个非常低概率的非-1簇(例如，0.2)的情况下，为什么不将其标记为离群值？根据hdbscan关于离群值检测的文档，这是属于簇内离群值的情况吗？
9ceoxa923#
这确实可能是情况。此外，如果0.2是数十个甚至数百个主题中的最高值，它仍然是一个相对较高的可能性。
csbfibhn4#
这确实可能是情况。此外，如果0.2是数十个甚至数百个主题中的最高值，它仍然是一个相对较高的概率。在我的情况下，只有7个主题，所有概率加起来小于<.4。但这种低概率示例在主题中的部分相对较小，尽管不是可以忽略的微小。
a5g8bdjr5#
问题是，使用HDBSCAN生成的概率实际上并不是HDBSCAN用于将文档分配给聚类的概率。它仅仅是在拟合聚类模型后概率的近似值。因此，它们不会完全代表主题分配。
5条答案
按热度按时间oewdyzsn1#
这是正确的。所有概率都表示非异常主题。这意味着异常主题的概率是1减去所有其他概率的总和。
nkcskrwz2#
这是正确的。所有概率都表示非离群主题。这意味着离群主题的概率是1减去所有其他概率的总和。
感谢您的回复。在数据点被分配到一个非常低概率的非-1簇(例如，0.2)的情况下，为什么不将其标记为离群值？根据hdbscan关于离群值检测的文档，这是属于簇内离群值的情况吗？
9ceoxa923#
这确实可能是情况。此外，如果0.2是数十个甚至数百个主题中的最高值，它仍然是一个相对较高的可能性。
csbfibhn4#
这确实可能是情况。此外，如果0.2是数十个甚至数百个主题中的最高值，它仍然是一个相对较高的概率。
在我的情况下，只有7个主题，所有概率加起来小于<.4。但这种低概率示例在主题中的部分相对较小，尽管不是可以忽略的微小。
a5g8bdjr5#
问题是，使用HDBSCAN生成的概率实际上并不是HDBSCAN用于将文档分配给聚类的概率。它仅仅是在拟合聚类模型后概率的近似值。因此，它们不会完全代表主题分配。