ludwig 添加可视化和选择二值后处理阈值的能力

b91juud3  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(23)

二元分类阈值 threshold 对概率进行后处理,将其设置为负数(< threshold)或正数(>= threshold)。这通常是在训练之前设置的一个值,通常设置为其默认值0.5。如果用户希望在发现理想操作点时更改模型的阈值,他们将在训练后编辑配置中的阈值。然而,目前找到这个操作点有点困难。
在类别不平衡的情况下,通常希望将阈值设置为不等于0.5的某个值。例如,如果用户希望以牺牲一些罕见正例的召回率为代价获得较高的精确度,用户可能希望设置一个更高的阈值。我们希望提供两个新功能:(1)绘制 thresholdmetric 的可视化图表,其中绘制的指标是与阈值相关的(即准确率、精确度、召回率、f1等),以及(2)从 LudwigModel.predict 函数中轻松尝试不同的阈值的功能。
这样的功能将使用户能够分析并最终选择适合其用例的最佳阈值。

zvms9eto

zvms9eto1#

从可视化的Angular 来看,你可以从我们现有的一些可视化功能中获得灵感:
ludwig/ludwig/visualize.py
第2388行 in 49b4c79
| | defconfidence_thresholding_data_vs_acc( |
为了更改predict中的阈值,你可以基于@justinxzhao在这个PR中添加的功能进行构建:#3520
希望这对你有帮助!

相关问题