BERTopic 如何将其生产并在保存的模型上运行?

iibxawm4  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(31)

你好,我已经创建了我的模型,但我不想每周都重新运行整个分析,我只想使用我收到的新反馈并通过模型运行,然后将反馈直接分配给我当前的聚类。
我查看了在线主题建模,但在.fit部分之后它不起作用。
提前感谢
最好的,
Shantanu

dgtucam1

dgtucam11#

"运行分析"是指调用fit方法吗?"通过模型运行"是指调用transform方法吗?除非我误解了什么,这不是一个显而易见的解决方案吗?

4smxwvx5

4smxwvx52#

你好,我已经使用主题建模将一个包含10万条反馈的数据集划分为20个主要主题。当新数据到达时——每周大约有5000条反馈——我希望能够高效地将这些新反馈分类到预先建立的20个主题中。我正在寻找一种方法,可以在不重新运行整个不断增长的数据集上的模型的情况下,将已训练好的模型应用于这些新条目。
要实现这种增量分类的最佳方法是什么?
例如,或者说,我想做的类似于在监督学习中,我们可以使用已训练好的模型来预测新未见过数据的标签。

zzoitvuj

zzoitvuj3#

我相信BERTopic就像你熟悉的其他机器学习模型一样,可以开箱即用:

  1. 通过调用fit在训练集(10万条反馈)上训练BERTopic模型并验证主题。
  2. 保存模型。
  3. 随时需要对新一批反馈进行标签时,加载模型。
  4. 通过在新批次上调用模型的transform方法来实现这一点->结果是将每个新反馈分配给预先建立的主题(或离群主题)的一个(或几个)。
holgip5t

holgip5t4#

确实!在用fit_transformfit创建了模型之后,你只需运行transform来实现这个功能:
你好,我已经创建了我的模型,但我不想每周都重新运行整个分析,我只想使用我收到的新反馈并通过模型进行处理,然后将反馈直接分配给我当前的聚类。

相关问题