指标选错,模型会朝着错误方向努力:在不平衡数据上盯着准确率,在关心漏检的业务里优化精确率,在偶尔出现大误差的场景里只看 MAE。这篇文章从混淆矩阵出发,把分类与回归常用指标的含义、适用条件和坑一次讲清,最后给一张选型表。

一、先问一句:错一次的代价是什么

指标不是数学问题,是业务问题。同样是二分类,漏掉一个 Fraud 和误拦一个正常用户,代价可能差几十倍。先把两类错误的成本写下来,再去挑指标,顺序不能反。

  • 漏检代价高(疾病筛查、风控):优先看召回,允许一定误报。
  • 误报代价高(自动封号、垃圾邮件拦截):优先看精确率。
  • 只关心排序(推荐、搜索):看 AUC、MAP、nDCG 这类与阈值无关的指标。
  • 关心数值误差(销量预测):看 MAE 或 RMSE,并明确大误差是否致命。

另外,任何指标都要有基线(多数类、均值、现有规则),否则「0.87」这个数字没有意义。

先定错一次的代价,再选指标。顺序反过来,你会把模型优化成一个和业务无关的数字。

二、混淆矩阵:所有分类指标的源头

二分类把预测和真实交叉,得到四个格子:真正例 TP、假正例 FP、假负例 FN、真负例 TN。四位主角都由它们拼出来:

  • 准确率 = (TP + TN) / 总数:整体答对的比例。
  • 精确率 P = TP / (TP + FP):判为正的样本里,真正为正的比例,回答「抓得准不准」。
  • 召回率 R = TP / (TP + FN):真正为正的样本里,被抓住的比例,回答「抓得全不全」。
  • F1 = 2PR / (P + R):精确率和召回率的调和平均,两者都低时 F1 会被明显拉低。

F1 默认认为精确率和召回率同样重要。如果更在意召回,用 F2(召回权重更高);更在意精确率,用 F0.5。公式不用背,记住「Fβ 的 β 越大越偏向召回」即可。

指标回答的问题什么时候会骗你
准确率整体答对多少类别极不平衡时,全猜多数类也很高
精确率判为正的有多准只挑最有把握的少数样本时虚高
召回率正类抓回多少大量误报时仍然很好看
F1精确与召回的平衡业务对两类错误成本不同时不合适

三、阈值与曲线:ROC/AUC 与 PR 曲线

分类模型通常输出概率,阈值决定把多少样本判为正。阈值不是模型的一部分,而是业务决策:调低阈值提高召回,同时牺牲精确率。

ROC 曲线横轴是假正率 FPR = FP / (FP + TN),纵轴是真正率 TPR,也就是召回率。曲线越靠左上越好。AUC 是 ROC 曲线下的面积,它有一个很实用的解释:随机抽一个正样本和一个负样本,模型给正样本的分数更高的概率。0.5 相当于随机猜,1.0 是完美排序。

PR 曲线横轴是召回率,纵轴是精确率。正类非常稀少时,PR 曲线比 ROC 更能反映实际困难:负类极多时,FPR 的分母很大,即使误报数量不少,ROC 看起来仍然体面。

两个常见误解:

  1. AUC 高不等于概率校准好。AUC 只看排序,模型可以说「A 比 B 更可能」却把概率估得离谱。需要可信概率时看对数损失或 Brier 分数。
  2. AUC 高不等于业务指标好。业务往往工作在某个阈值上,应该同时报告该阈值下的精确率、召回率和混淆矩阵。

四、多分类与其他场景

多分类要把「每个类别的精确率、召回率、F1」汇总成一个数,三种平均方式别混用:

  • macro:每个类别单独算再平均,小类别和大多类别权重一样,适合关心每个类。
  • micro:把所有类别的 TP、FP、FN 加总后统一计算;单标签多分类下 micro-F1 等于准确率。
  • weighted:按每个类别的样本数加权,接近整体表现,但会掩盖小类别的问题。

序列标注(如命名实体识别)要按实体算,而不是按 token 算:一个实体的边界错一个 token,整个实体就算错。检测任务常用 IoU 阈值下的 mAP,但不同数据集对 IoU 和匹配规则的定义不同,跨论文比较前先看评测脚本。检索与推荐则用 recall@k、MRR、nDCG 这类带位置权重的指标。

五、回归指标:MAE、RMSE、MAPE、R²

  • MAE = 绝对误差的平均值,单位与目标相同,直观、对异常值相对不敏感,对应的是「预测中位数」的倾向。
  • RMSE = 均方误差开根号,单位也与目标相同,但会放大大的误差,适合「大错特别贵」的场景。同一份数据上 RMSE 不会小于 MAE。
  • MAPE = 绝对百分比误差的平均值,可跨量级比较,但真实值接近 0 时会爆掉,而且对高估和低估的惩罚不对称。
  • R² = 1 − 残差平方和 / 总平方和,表示比「全预测均值」好多少。它可以为负,说明模型还不如均值基线。
指标单位大误差敏感主要坑
MAE与原值相同不敏感掩盖严重的大偏差
RMSE与原值相同敏感被少数异常值主导
MAPE百分比较敏感真实值接近 0 时不可用
R²无量纲敏感不同数据集之间不可比

六、怎么选:一张决策表

场景首选主指标建议同时报告
正类稀少、怕漏检召回率、F2PR 曲线、该阈值下的精确率
怕误报精确率、F0.5混淆矩阵、召回率下限
只关心排序质量AUCPR-AUC、Top-k 命中率
多分类、类别均衡macro-F1每个类别的混淆矩阵
多分类、类别不平衡macro-F1 或 weighted-F1小类别的召回率
回归、大误差很贵RMSEMAE、最大误差、分位数误差
回归、要平均误差MAERMSE、R²
需要可信概率对数损失、Brier 分数校准曲线

落地时按五步走:明确两类错误的成本;算基线;选一个主指标加一两个护栏指标;把阈值策略写进文档;每次实验记录同一套指标。只报一个数字的评估,基本无法支撑决策。

护栏指标的意思是:追主指标时不能突破的底线。例如追求召回时规定精确率不得低于某条线,否则模型可能用大量误报换取召回,上线后同样不可接受。

七、常见坑与练习清单

  1. 在 1% 正类的数据上报 99% 准确率,实际什么都没学到。
  2. 用测试集反复调阈值,报出的指标带有选择偏差。
  3. 跨数据集比较 R² 或 mAP,却忽略评测口径不同。
  4. 只报单次划分的指标,不给置信区间或多次实验的波动范围。
  5. 默认使用 0.5 阈值,从没检查过业务最优点在哪里。

练习清单:

  1. 手算一个 2×2 混淆矩阵的准确率、精确率、召回率和 F1,并解释哪个指标最容易被误导。
  2. 在同一模型上画 ROC 和 PR 曲线,把正类比例从 50% 降到 2%,观察两条曲线哪个变化更大。
  3. 用三种平均方式计算同一个多分类模型,写出各自的差异。
  4. 构造一组含极端异常值的回归数据,对比 MAE 和 RMSE 的排序是否一致。
  5. 为你的业务写一份指标卡:主指标、护栏指标、阈值、基线、验收标准。

指标是用来对齐决策的,不是用来好看。先想清楚错一次要付多少钱,再决定看哪个数。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。