如大家所了解的,平均精确率均值(Average Precision, AP)是 P-R 曲线下的面积。AP 衡量了模型在不同召回率水平下的平均精确率,越高的 AP 值表示模型性能越好。

ROC曲线

ROC曲线( Receiver Operating Characteristic Curve )是以不同阈值下的假阳性率( False Positive Rate )和真阳性率( True Positive Rate )为横纵轴绘制的曲线。

其中 FPR 和 TPR 的定义如下:

$$

FPR = \frac{FP}{FP + TN}

$$

$$

TPR = recall = \frac{TP}{TP + FN}

$$

按照上述的例子,假阳率的计算为:

真阳率的计算为:

在计算了 TPR 和 FPR 之后,我们就能得到一个 ROC 曲线上的一个坐标点,即( 0.044 , 0.8 )。要绘制完整的 ROC 曲线,需要在不同的阈值下计算多个 TPR 和 FPR 值,并将它们连接起来形成一条曲线,即完整的 ROC 曲线。

对于 ROC 曲线来说,x 轴的值越小,则负样本中被误报的比例越小,真阴性越多。y 的值越大,则真阳性的比例更大,假阴性越少,漏报较低。

ROC 曲线更接近左上角,说明模型能够有效地区分正例和负例。通过观察 ROC 曲线的形状和接近左上角的程度,我们可以了解模型在不同阈值下的性能优劣。

绘制 ROC 曲线后,可以通过平衡误报和漏报的情况来选择合适的阈值。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐