强化学习常被说得神秘,其实它要解决的问题很朴素:一个智能体在环境里不断做动作,根据得到的奖励调整策略,目标是让长期回报最大。它和监督学习最大的不同是:没有人告诉它每一步的正确答案,它只能从后果里学。这篇文章用一条主线把状态、动作、奖励、价值函数和常见算法串起来。

一、直觉:没有答案,只有后果

监督学习给你一堆「输入—正确答案」的配对,模型的任务是模仿。强化学习只给一个奖励信号,而且往往延迟:下棋时只有终局才知道输赢,中间每一步都没有标签;机器人走十步之后摔倒,很难说清是哪一步的错。

这带来三个难点:

  • 信用分配:最终奖励该归功于前面哪些动作?
  • 探索:没试过的动作不知道好坏,但一直试错又要付出代价。
  • 数据不独立:样本是自己按当前策略采出来的,前后高度相关,而且策略一变,数据分布就变。

二、MDP:把问题写成五元组

强化学习把问题形式化为马尔可夫决策过程,记作五个要素:状态集合 S、动作集合 A、转移概率 P、奖励函数 R、折扣因子 γ。马尔可夫性假设下一步只取决于当前状态和动作,与更早的历史无关;这个假设让问题可计算,也是建模时最需要检查的地方。

智能体按策略 π(a|s) 选动作,得到一条轨迹。从某一时刻开始的累计折扣回报是:G_t = r_{t+1} + γ r_{t+2} + γ² r_{t+3} + …。γ 越接近 1,越看重长远;越接近 0,越短视。它同时保证无限期回报可以收敛。

两个核心函数:状态价值 V(s) 表示从状态 s 出发、按策略 π 行动的期望回报;动作价值 Q(s,a) 表示在 s 先做动作 a、之后按 π 行动的期望回报。最优策略就是让价值最大的策略。

它们满足贝尔曼方程:当前状态的价值,等于即时奖励加上折扣后的下一状态价值,再对动作和转移求期望。这个递归关系是所有强化学习算法的地基。

三、和监督学习的四个根本区别

维度监督学习强化学习
数据来源固定数据集,事先采集智能体与环境交互,边学边采
反馈形式每个样本有正确标签只有奖励,且常延迟、稀疏
数据分布独立同分布随策略变化,前后相关
优化目标拟合标签,最小化损失最大化期望累计回报

最关键的一条是数据分布:策略变好之后,采到的数据也变了,模型要在不断移动的目标上学习。这也是强化学习比监督学习更不稳定、更依赖随机种子的根本原因。

强化学习的不稳定,多半不是算法问题,而是数据分布随策略移动、奖励信号又太稀疏。

四、三类方法:值函数、策略梯度、Actor-Critic

值函数方法先估计 Q(s,a),再按 Q 选动作。最经典的 Q-learning 更新是:Q(s,a) 向「即时奖励 + γ 乘以下一状态的最大 Q 值」靠近,用学习率控制靠近多少。它可以在不更新策略的情况下学习,但表格形式无法处理连续状态。DQN 用神经网络拟合 Q,并加了两个关键技巧:经验回放,把历史样本打散以降低相关性;目标网络,让学习目标在一段时间内保持稳定。

策略梯度方法直接参数化策略 π(a|s),沿着让高回报动作概率增大的方向更新,典型形式是「梯度等于 log 策略梯度乘以优势估计的期望」。它天然支持连续动作,但方差大,通常要减掉一个基线,用优势函数代替原始回报。

Actor-Critic 把两者结合:Actor 是策略网络,负责选动作;Critic 是价值网络,负责评价当前动作比平均好多少。PPO 是这类方法里最常用的代表,它用裁剪后的目标函数限制每次策略更新的幅度,避免一步走太远把策略毁掉。

方法代表算法优点缺点
值函数Q-learning、DQN样本效率相对高,离散动作好用连续动作难处理,Q 值容易高估
策略梯度REINFORCE直接优化目标,支持连续动作方差大,样本效率低
Actor-CriticA2C、PPO、SAC兼顾稳定与效率,适用面广结构复杂,超参敏感

五、探索、奖励与评估

探索与利用是强化学习独有的问题:一直用当前最优动作可能错过更好的选择,一直随机探索又学不到东西。常见做法是 ε-greedy(以概率 ε 随机选动作)、熵正则(鼓励策略保持随机性)、以及基于不确定性的探索。

奖励设计决定学习方向。稀疏奖励(只有成功才给分)难学,可以加中间奖励,但塑形要小心:奖励一旦偏离真实目标,智能体就会钻空子,出现「奖励很高但行为不对」的奖励黑客现象。这是古德哈特定律在强化学习里的版本。

评估要特别认真:强化学习方差大,必须用多个随机种子,报告均值和波动范围;评估时固定环境版本和随机种子;训练曲线要看样本效率和最终水平,而不是只看某一步的峰值。

六、常见坑

  1. 用强化学习去做本来有标签的问题。有监督信号时,先用监督学习或规则,成本低得多。
  2. 奖励写错。代理奖励和行为目标不一致,训练越久偏得越远。
  3. 只看单次实验。不同种子结果可能差很多,单条曲线没有说服力。
  4. 环境有 bug 或信息泄漏,智能体找到了作弊路径,指标虚高。
  5. 不归一化奖励、不检查状态尺度,导致训练发散,却以为是算法不行。
  6. 频繁换算法。先把环境、奖励、评估跑通,再谈算法改进。
  7. 忽视样本成本。强化学习常常需要大量交互,真实场景要算清时间与费用。

七、练习清单

  1. 在 Gymnasium 的 CartPole 环境上跑通一个 DQN 或 PPO 实现,记录平均回报随训练步数的变化。
  2. 手算一条三步轨迹的折扣回报,比较 γ = 0.9 与 γ = 0.99 的差异。
  3. 用表格实现 Q-learning,观察不同学习率和 ε 对收敛的影响。
  4. 把奖励改成「每多坚持一步加一分」,观察策略是否学出绕圈行为,理解奖励设计的影响。
  5. 用三个随机种子各跑一次,报告均值和标准差,解释为什么不能只看最好的一次。
  6. 把环境源码读一遍,确认状态里没有泄漏未来信息。

强化学习的门槛不在公式,而在于你要接受:没有标准答案,只有你设计的奖励和评估方式。奖励设计错了,算法越强,错得越离谱。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。