AI 数学基础
不必刷题,但要能看懂损失函数、梯度和注意力
AI 数学基础指的是理解机器学习与大模型所需的线性代数、微积分、概率统计和最优化。它不是为了考试,而是为了让你在调参、读论文、排查训练失败时有判断依据:为什么梯度会消失,为什么分类任务常用交叉熵,注意力里的矩阵乘法到底在算什么。对多数应用者来说,够用比完整更重要:不需要全部精通,但关键处不能含糊。
为什么绕不过去
框架把求导和并行都封装好了,但遇到损失不下降、显存爆炸、收敛不稳定时,能救你的仍是数学直觉。读一篇新论文,公式部分决定你能否复现;做一次微调,超参数背后的假设决定你能否解释结果。和同事讨论方案时,数学语言往往是最省时间的表达方式,这也是很多人工作几年后又回来补数学的原因。数学不是前置门槛,而是长期复利的工具。
四块核心内容
按使用频率排序,可以分成四块;它们互相支撑,不建议只挑一块学。
- 线性代数:向量与矩阵运算、特征值、奇异值分解,是理解嵌入与注意力的语言。
- 微积分:偏导、链式法则、雅可比与梯度,构成反向传播的基础。
- 概率统计:分布、期望方差、最大似然、贝叶斯,解释损失函数与不确定性。
- 最优化:梯度下降及其变体、学习率、凸性与数值稳定性。
怎么学才不劝退
先用 3Blue1Brown 的视频建立直觉,再跟《Mathematics for Machine Learning》系统过一遍,然后用 micrograd 手写一次反向传播,最后在 PyTorch 里验证自己的推导。数学要和代码交替进行,纯看视频几乎留不下东西。遇到看不懂的推导,先看它在代码里长什么样,再回头看公式;卡住的地方先接受结论,再回头补证明。
学完基础后,把同样的耐心带到具体专题里:大模型、视觉和强化学习都会反复用到这些工具。别把数学当成一次性的关卡,它更像随用随查的工具箱。
这个专题要回答的问题
- 学 AI 一定要先啃完数学教材吗?
- 哪些数学知识是必须的,哪些可以先用后补?
- 交叉熵、KL 散度这些概念该怎么直观理解?
- 反向传播到底在算什么,需要手推吗?
- 概率论不好,会影响学大模型吗?
- 数学基础薄弱,怎么安排学习顺序才不劝退?
精选资源
线性代数、微积分、概率与优化的系统教材,提供免费 PDF。
用动画建立梯度下降与反向传播的直觉。
深度学习经典教材,数学基础部分可直接查阅。
机器学习数学与算法的系统课程,讲义公开。
百行代码实现自动求导,理解反向传播的最短路径。
从概率视角理解模型与推断,适合进阶。
相关文章
学 AI 的最短路径:项目驱动、费曼输出与间隔复习
学 AI 最怕收藏很多却什么也没做成。本文把项目驱动、费曼输出与间隔复习组合成一个循环,附一周节奏模板、复习卡示例与 30 天清单,适合自学与转行的人。
机器学习项目全流程:从问题定义到上线,每一步做什么
从问题定义、数据与切分、基线、误差分析,到上线监控,拆解机器学习项目每一步的关键决策与交付物,讲清数据泄漏、指标错位与训练推理不一致,附阶段对照表和练习清单。
过拟合与泛化:为什么模型「考试满分、实战拉胯」
为什么模型训练集几乎全对、换数据就崩:用偏差与方差解释泛化误差,给出学习曲线与验证曲线的诊断表,梳理数据、正则、早停、集成等对策,以及双下降等常见误区。
2026 年从零开始学 AI:一条不走弯路的学习路线
2026 年从零学 AI 的路线图:先打好编程与环境基础,再建立机器学习直觉,进入深度学习与大模型,最后用 RAG 和工程化交付做出作品;附 12 周参考表与常见弯路。