机器学习里最反直觉的一幕:模型在训练集上几乎全对,换一份新数据就露馅。这不是模型「笨」,恰恰是它太努力地记住了训练样本。这篇文章讲清过拟合的本质、怎么诊断、怎么处理,以及为什么有时候训练误差为零反而不是坏事。

一、直觉:它记住的是题,还是规律

把训练集想成一本习题册。真正学会的学生能解新题;只会背答案的学生在习题册上满分,换一套卷子就崩。模型也一样:它的容量足够大时,有能力把每个训练样本的标签都记住,包括其中的噪声和巧合。

过拟合就是模型把「训练集的偶然细节」当成了「普遍规律」。判断依据不是训练误差有多低,而是训练误差和验证误差之间的差距:差距越大,越可能过拟合;两者都高,则是欠拟合。

二、泛化误差从哪来:偏差、方差与噪声

期望泛化误差可以粗略拆成三块:

  • 偏差:模型假设太简单,连训练集的规律都没学到,表现为训练误差高。
  • 方差:模型对训练样本太敏感,换一批数据结果差别很大,表现为训练误差低、验证误差高。
  • 噪声:数据本身的随机性,任何模型都消不掉,是误差的下限。

写成一句话:泛化误差约等于偏差的平方加方差加不可约噪声。复杂度上升时,偏差下降、方差上升,两者相加通常呈 U 形,这就是经典的偏差与方差权衡。

我们真正关心的永远是验证误差,但只能用有限样本估计它,所以验证集怎么构造,比模型结构更值得较真。

三、过拟合从哪里来

  • 容量过大:参数远多于样本,模型有足够自由度去拟合噪声。
  • 数据太少或太单一:样本覆盖不到真实分布,模型只能记住见过的。
  • 标签噪声:错标样本会被认真学进去,模型越大越明显。
  • 训练太久:训练损失还在降,验证损失已开始上升,继续训练就是在拟合噪声。
  • 选择偏差:反复用同一份验证集调参,验证集信息被「用旧」,指标虚高。

最后一条最容易被忽略:验证集一旦参与决策,就不再是干净的估计。要留一份从未参与调参的测试集做最终验收。

四、诊断:看两条曲线

学习曲线:横轴是训练样本量,纵轴是训练分数和验证分数。验证分数随样本增加仍在上升,说明加数据有用;两条线都很低且接近,说明模型太简单。

验证曲线:横轴是某个超参数(如正则强度、树的深度、多项式阶数),纵轴是训练和验证分数。训练分数一直升、验证分数先升后降,峰值附近就是合适的复杂度。

观察判断优先动作
训练分低、验证分低欠拟合增加容量、补特征、减小正则
训练分高、验证分低且差距大过拟合加数据、增强、正则、早停
训练分高、验证分也高基本合适继续做误差分析找长尾
验证分波动大验证集太小或不稳定交叉验证、扩大验证集

读曲线时不要只看某一次实验的绝对分数,要看趋势和两条线之间的差距。验证集很小时曲线会剧烈波动,单次峰值可能只是噪声,这时应该用交叉验证或多次随机种子取平均。

五、对策:先加数据,再谈正则

  1. 更多、更好的数据:最有效也最贵。补充覆盖不足的场景、清理错标,往往比换模型收益大。
  2. 数据增强:图像翻转裁剪、文本改写、表格加噪声。增强后的分布仍要接近真实数据。
  3. 正则化:在最优化目标上加惩罚项,L2 的形式是「原损失 + λ 乘以权重平方和」,把权重往小压;L1 偏向稀疏。
  4. Dropout:训练时按概率随机丢弃神经元,防止单元之间形成脆弱的共适应;推理时全部启用。
  5. 早停:盯着验证损失,连续若干轮不再下降就停,本质是限制模型走到过拟合区域。
  6. 降低容量:减层、减宽度、限制树的深度和叶子数。
  7. 集成:多个模型平均通常能降低方差,代价是推理成本。

顺序建议:先判断是数据问题还是容量问题。数据不足时堆正则只能缓解症状;容量不够时加正则会更糟。每次只改一项,并在同一份验证集上比较。

不要用测试集判断「要不要早停」「要不要加正则」。测试集一旦参与任何选择,你报出的指标就不再可信。

六、一个例外:双下降

经典叙事说「模型越复杂越容易过拟合」,但 Belkin 等人在 2019 年的论文里描述了另一种曲线:随着模型容量增加,测试误差先下降,在「刚好能插值训练集」的临界点附近达到峰值,继续增加容量时反而再次下降。这种下降、上升、再下降的现象被称为双下降。

它提醒我们两件事:第一,参数量大不等于一定过拟合;第二,处在插值临界点附近时,模型对数据扰动最敏感。实践中不要只在一个容量区间里调参,往更大和更小两端各试一次,往往会有意外发现。

七、常见坑与练习清单

四个高频错误:

  1. 用测试集反复调参,最后报的是被优化过的测试集分数。
  2. 数据增强只在训练集做,却忘了验证集也应该走一致的预处理。
  3. 类别极不平衡时把「训练集准确率 99%」当成过拟合证据,其实多数类基线就是 99%。
  4. 以为早停能解决一切,实际上数据泄漏造成的虚高和过拟合看起来很像。

练习清单:

  1. 在同一份二分类数据上训练 1、10、100 轮,画出训练与验证损失曲线,指出过拟合从第几轮开始。
  2. 用多项式回归拟合一条带噪声的曲线,把阶数从 1 调到 15,观察训练误差和验证误差的走向。
  3. 比较「加 1000 条数据」和「加 L2 正则」的效果,记录验证指标差异。
  4. 故意把 10% 的训练标签改错,观察训练指标和验证指标的变化。
  5. 把验证集换一种切分方式(随机切分与按组切分),比较指标差异并写出结论。

过拟合不是模型「学坏了」,而是它在没有足够证据的地方替你做了决定。你要做的是给它更多证据,或者限制它的自由。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。