AI 数学基础

不必刷题,但要能看懂损失函数、梯度和注意力

AI 数学基础指的是理解机器学习与大模型所需的线性代数、微积分、概率统计和最优化。它不是为了考试,而是为了让你在调参、读论文、排查训练失败时有判断依据:为什么梯度会消失,为什么分类任务常用交叉熵,注意力里的矩阵乘法到底在算什么。对多数应用者来说,够用比完整更重要:不需要全部精通,但关键处不能含糊。

为什么绕不过去

框架把求导和并行都封装好了,但遇到损失不下降、显存爆炸、收敛不稳定时,能救你的仍是数学直觉。读一篇新论文,公式部分决定你能否复现;做一次微调,超参数背后的假设决定你能否解释结果。和同事讨论方案时,数学语言往往是最省时间的表达方式,这也是很多人工作几年后又回来补数学的原因。数学不是前置门槛,而是长期复利的工具。

四块核心内容

按使用频率排序,可以分成四块;它们互相支撑,不建议只挑一块学。

  • 线性代数:向量与矩阵运算、特征值、奇异值分解,是理解嵌入与注意力的语言。
  • 微积分:偏导、链式法则、雅可比与梯度,构成反向传播的基础。
  • 概率统计:分布、期望方差、最大似然、贝叶斯,解释损失函数与不确定性。
  • 最优化:梯度下降及其变体、学习率、凸性与数值稳定性。

怎么学才不劝退

先用 3Blue1Brown 的视频建立直觉,再跟《Mathematics for Machine Learning》系统过一遍,然后用 micrograd 手写一次反向传播,最后在 PyTorch 里验证自己的推导。数学要和代码交替进行,纯看视频几乎留不下东西。遇到看不懂的推导,先看它在代码里长什么样,再回头看公式;卡住的地方先接受结论,再回头补证明。

常见误区:为学而学、追求严格证明;只看不写;跳过概率直接学深度学习;忽视数值稳定性与工程近似。

学完基础后,把同样的耐心带到具体专题里:大模型、视觉和强化学习都会反复用到这些工具。别把数学当成一次性的关卡,它更像随用随查的工具箱。

这个专题要回答的问题

  • 学 AI 一定要先啃完数学教材吗?
  • 哪些数学知识是必须的,哪些可以先用后补?
  • 交叉熵、KL 散度这些概念该怎么直观理解?
  • 反向传播到底在算什么,需要手推吗?
  • 概率论不好,会影响学大模型吗?
  • 数学基础薄弱,怎么安排学习顺序才不劝退?

精选资源

ARTICLES

相关文章

全部文章 →