训练不收敛时,多数人的第一反应是换模型、换优化器、换数据集,结果越调越乱。真相是:大部分训练故障来自少数几个固定原因,而且可以用固定顺序查出来。这份手册按症状分类,给出排查顺序和验证方法。

一、先分清症状,再动手

「训练失败」不是一种病。先看 loss 曲线的形状,再看验证指标,把问题归到四类之一:

症状最可能的原因先查什么
loss 几乎不动学习率太小、参数没更新、数据/标签错梯度是否存在,label 与输出是否对齐
loss 震荡或发散学习率太大、batch 太小、归一化不当降低学习率、加 warmup、查输入尺度
loss 出现 NaN/Inf溢出、除零、log(0)、fp16 范围定位第一个出现 NaN 的 step 和算子
训练降、验证不降过拟合、数据分布不一致、评估有 bug过拟合一个小 batch 验证管线

还有一个隐蔽症状:loss 在降,但业务指标不升。这通常不是训练问题,而是损失函数与目标错位,或者验证指标算错了。

排错的第一原则:一次只改一个变量,并保留能复现的最小配置。同时改三处,你永远不知道是哪一处起了作用。

二、第一步:让模型过拟合一个小 batch

这是 Karpathy 在《A Recipe for Training Neural Networks》里推荐的做法,也是区分「代码 bug」和「调参问题」最快的方法。

  1. 固定取 8 到 32 个训练样本,关闭数据增强和所有正则。
  2. 用正常的学习率训练几百步,观察训练 loss 能否降到接近零。
  3. 如果连这几个样本都记不住,别调参了,先找 bug:输入范围、标签范围、输出维度、损失函数、梯度、参数更新,逐项打印检查。

这一步能过,说明模型、损失和反向传播的通路是通的,剩下的才是学习率、正则和数据分布的问题。

三、loss 不降:按顺序排查

  1. 学习率:先用对数尺度扫几个值(例如 1e-5、1e-4、1e-3、1e-2),看 loss 曲线的形态。太小会缓慢下降甚至看起来不动,太大会震荡或直接发散。
  2. 参数是否真的在更新:确认优化器拿到的是模型的 parameters,确认没有误冻结层,确认 requires_grad 设置正确。梯度全为零是新手最常见的 bug。
  3. 数据管线:输入是否归一化、是否 shuffle、标签是否和输入错位、训练与验证的预处理是否一致。标签错位时 loss 通常卡在一个不低的值上不动。
  4. 损失函数:分类用交叉熵时直接传 logits,不要先手动 softmax 再传给交叉熵;回归的 MSE 对异常值敏感;类别不平衡时记得加权重。
  5. 初始化与结构:全零初始化会破坏对称性,层数加深时激活值可能逐层衰减或爆炸,打印每层激活的均值和方差确认。
  6. 优化器超参:weight decay 过大、betas 设置异常、梯度累积步数与学习率不匹配,都会让训练看起来「推不动」。
  7. 批大小与梯度累积:批太小梯度噪声大,批太大显存不够。用梯度累积模拟大 batch 时,学习率也要一起调整,否则等效步长会变。

四、震荡与 NaN:先把数值稳住

loss 上下大幅摆动,先降学习率,再考虑加 warmup(前若干步从小学习率线性升到目标值)。深层网络和 Transformer 尤其依赖 warmup 来度过初期的不稳定阶段。

梯度裁剪是处理梯度爆炸的常规手段:设一个阈值 c,当梯度的范数超过 c 时,把它按比例缩到 c,即 g 变成 g 乘以 c 除以梯度范数。常见起点是 1.0,然后根据梯度范数的实际分布调整。同时应该把梯度范数记进日志,它是判断训练是否健康的重要信号。

优化器方面,Adam 及其解耦权重衰减的版本 AdamW 是常见默认选择。Adam 为每个参数维护一阶和二阶矩估计并做偏差修正,因此在稀疏梯度上通常比 SGD 更快,但它对学习率依然敏感。学习率调度上,warmup 加余弦衰减是一套常见组合,最终选择仍以验证集结果为准。

出现 NaN/Inf 时,按这个顺序查:

  • 第一个 NaN 出现在哪一步、哪个算子?对输入做检查,逐步定位。
  • 是否有 log(0)、除以零、空 batch、长度为 0 的序列?
  • softmax 或 exp 是否溢出?混合精度训练里 fp16 的数值范围较窄,通常需要 loss scaling;bf16 指数范围更宽,一般不需要,但仍要留意。
  • 学习率是否过大,导致参数一步跳到发散区?

五、过拟合:训练与验证的差距

训练指标持续上升、验证指标先升后降,是典型过拟合。处理顺序和普通机器学习一致:先补数据或做增强,再加正则,最后才考虑减小模型。

  • 数据增强:图像翻转裁剪、文本改写、音频加噪。增强必须只用于训练,验证集要保持真实分布。
  • 权重衰减与 Dropout:权重衰减抑制权重变大,Dropout 训练时随机丢弃单元。注意 Dropout 会拉长收敛时间。
  • 早停:按验证指标保存最佳 checkpoint,而不是按训练 loss。
  • 标签平滑:把硬标签改成软标签,降低模型对训练标签的过度自信,但会改变概率校准。
  • 减小容量:减层、减宽度、减小输入分辨率,这是最后手段。

还有一种假过拟合:训练集和验证集的预处理不一致,例如训练时增强了、验证时忘了还原,导致验证指标天然偏低。先排除这种情况。如果训练和验证来自不同来源(例如不同医院、不同批次),差距也可能来自分布不一致而不是过拟合,这时应该按来源切分验证集,并考虑对齐或加权。

六、看不见的坑:流程与日志

  1. 忘记切换 train/eval 模式:BatchNorm 的统计量和 Dropout 行为在两种模式下不同,推理前必须 eval。
  2. BatchNorm 在小 batch 上统计量不稳,训练和推理差异大,考虑换 GroupNorm 或 LayerNorm。
  3. 数据加载成为瓶颈,GPU 利用率长期偏低,训练变慢被误认为不收敛。
  4. 只看 loss 不看学习率、梯度范数、吞吐和显存,出了问题没有证据。
  5. 以为固定随机种子就能完全复现。PyTorch 官方文档明确说明,跨版本、跨平台、CPU 与 GPU 之间不保证完全一致。
  6. 检查点保存了正确指标却加载了错误权重,或者只保存了模型没保存优化器状态,续训后曲线突变。
  7. 数据版本没有记录:换了数据却没留下时间戳或哈希,指标变化无法归因。

七、练习清单

  1. 用 8 个样本训练一个小网络,做到训练 loss 接近零,记录用了多少步。
  2. 在同一模型上扫五个学习率,画出 loss 曲线,标出「太小学不动」和「太大发散」的区间。
  3. 故意把学习率调到极大制造 NaN,然后通过降低学习率、加梯度裁剪修好,记录两次的梯度范数。
  4. 在训练循环里打印每层激活的均值、方差和梯度范数,找出异常层。
  5. 对比 train 与 eval 模式下的验证指标,理解 BatchNorm 的影响。
  6. 用固定种子跑两次训练,比较曲线差异,写下哪些操作引入了不确定性。

训练排错的核心不是「试更多配置」,而是把「模型能不能学会」和「调参好不好」分开验证。先证明通路,再谈效果。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。