强化学习
在试错中学习:从 Q-learning 到 RLHF
强化学习(Reinforcement Learning,RL)研究智能体如何通过与环境交互、根据奖励信号调整策略,以最大化长期回报。它既像控制问题,也像统计学习问题。它与监督学习最大的区别在于:没有标准答案,只有延迟的反馈,而且智能体的行动会改变之后看到的数据。这种「行动影响数据」的特性,让训练与评估都比监督学习复杂。
为什么它出现在大模型时代
RLHF 让语言模型学会遵循人类偏好,是 ChatGPT 类产品成立的关键一步;在机器人控制、游戏、推荐与调度中,RL 也持续产出成果,在数据昂贵、反馈延迟的场景里很难被替代。理解 RL,能帮你看懂对齐算法(PPO、DPO)的动机,也能判断一个问题到底该用规则、监督学习还是强化学习。同时,它也是理解推理模型如何被训练的关键背景。
核心概念与技术路线
从建模到落地,通常要经过下面几个环节。
- 建模:马尔可夫决策过程(MDP)、状态、动作、奖励与折扣因子。
- 价值方法:Q-learning、DQN,用价值函数间接得到策略。
- 策略方法:策略梯度、Actor-Critic、PPO,直接优化策略本身。
- 工程要点:奖励设计、探索与利用、样本效率、随机种子与训练稳定性。
怎么学
RL 的教程很多,建议只选一条主线。先用 Sutton 与 Barto 的教材建立概念,配合 Spinning Up 读代码;然后手写一个表格型 Q-learning 跑通小游戏,再用 Stable-Baselines3 在 Gymnasium 环境里训练 PPO,观察超参数与随机种子带来的波动。同一实验至少跑三个种子,是理解 RL 不稳定性的最快方式。实验记录要包含奖励曲线、成功率与随机种子,否则无法判断改动是否有效。
RL 很迷人,但要先问一句:这个问题真的需要试错学习吗?很多时候监督学习或规则更划算。先用最简单的 baseline 验证可行性,再考虑复杂算法。稳定比先进更重要,先跑通再调优。
这个专题要回答的问题
- 强化学习和监督学习最根本的区别是什么?
- Q-learning 和策略梯度,什么时候用哪个?
- PPO 为什么在 LLM 对齐和机器人控制里都被广泛使用?
- 奖励函数设计不好会怎样?
- 训练不收敛、曲线抖动,一般从哪里排查?
- 做推荐或调度问题,值得上强化学习吗?
精选资源
RL 领域的标准教材,第二版可免费阅读。
从概念到 PPO 代码的入门教程,附关键论文清单。
经典公开课,把 MDP、价值迭代与策略梯度讲透。
可靠的 PPO、SAC 等实现,适合做实验 baseline。
强化学习环境接口标准,从 CartPole 到 MuJoCo。
PPO 原始论文,理解 clip 目标与训练稳定性。
相关文章
强化学习入门:状态、动作、奖励,以及它和监督学习的根本区别
从状态、动作、奖励和回报讲起,用 MDP 与价值函数搭起强化学习的骨架,对比它和监督学习的根本区别,再说明值函数、策略梯度与 DQN 的思路和常见坑。
运动规划入门:路径规划、轨迹规划与避障
把规划拆成路径、轨迹、控制三层,讲清 A*、RRT、梯形速度与局部避障的适用边界,附可运行的 A* 代码、Nav2 命令与项目清单。
Sim2Real:仿真里练会的,为什么到真机就崩
从动力学差距与分布差距拆解 reality gap,讲系统辨识、域随机化、教师-学生的做法,给出阶跃拟合代码、部署顺序与常见坑。
分类与回归指标怎么选:准确率、召回、F1、AUC、MAE/RMSE
分类与回归指标的选择指南:从混淆矩阵推出准确率、精确率、召回率与 F1,讲清 ROC/AUC 与 PR 曲线的适用边界,再对比 MAE、RMSE、R²,附选型表和常见坑。