GLOSSARY

术语表

120 个 AI / 机器人常用术语,中文解释 + 英文原名,适合随时查。按分类筛选或直接搜索。

共 120 个术语

监督学习

Supervised Learning

用带标签的样本训练模型,让它学会从输入预测输出,分类和回归都属于这一类;标签的数量和质量直接决定模型效果的上限,也是它区别于强化学习的关键。

机器学习
无监督学习数据集划分

无监督学习

Unsupervised Learning

不给标签,让模型自己从数据里找结构和规律,常用来做聚类、降维和异常检测;结果往往需要人来解释,比如把相似用户自动分到同一群。

机器学习
监督学习聚类

过拟合

Overfitting

模型把训练数据里的细节甚至噪声都学了进去,训练集分数很高,碰到新数据却明显变差;常见解法是正则化、扩数据、早停和简化模型。

机器学习
欠拟合正则化泛化

欠拟合

Underfitting

模型连训练集都没学好,各项分数普遍偏低,通常因为模型太简单、特征不够或训练不足;它和过拟合是两个相反的方向,需要一起权衡。

机器学习
过拟合泛化

正则化

Regularization

在训练目标里加一个惩罚项,压制模型参数变得过大,从而降低过拟合、提升泛化;常见形式有 L2 权重衰减和 L1 稀疏约束。

机器学习
过拟合泛化

泛化

Generalization

模型在没见过的数据上表现好坏的能力,才是真正衡量它有没有学会的标准;泛化差通常意味着过拟合,或者训练数据和线上数据分布不一致。

机器学习
过拟合交叉验证

交叉验证

Cross-Validation

把数据切成若干折,轮流用其中一折做验证、其余做训练,最后取平均成绩;样本不多时比单次划分更稳定,常见的是五折和十折。

机器学习
数据集划分过拟合

偏差-方差权衡

Bias-Variance Tradeoff

偏差衡量模型本身的系统性错误,方差衡量它对训练样本波动的敏感程度;模型太简单偏差大,太复杂方差大,要做的是在两者之间找平衡。

机器学习
过拟合欠拟合集成学习

决策树

Decision Tree

像流程图一样按特征层层提问、把样本分到不同叶子的模型,可解释性强;单棵树容易过拟合,所以常被组合成随机森林或梯度提升。

机器学习
随机森林梯度提升

随机森林

Random Forest

训练很多棵决策树,每棵只看部分样本和部分特征,再投票或取平均得到结果;这种随机性让整体更稳、更不容易过拟合,是表格数据的常用基线。

机器学习
决策树集成学习

支持向量机

Support Vector Machine (SVM)

在两类样本之间找一条间隔最大的分界线,并靠核函数把低维难分的数据映射到高维再分开;适合中小规模、特征维度高的数据。

机器学习
监督学习泛化

梯度提升

Gradient Boosting

一棵接一棵地训练决策树,每棵新树专门拟合前面所有树留下的误差,逐步把整体预测修正得更准;XGBoost 和 LightGBM 是它的代表实现。

机器学习
决策树集成学习

集成学习

Ensemble Learning

把多个弱模型组合成一个强模型,通过投票、平均或堆叠提升效果,核心思路是让多个模型取长补短;随机森林和梯度提升都属于这条路线。

机器学习
随机森林梯度提升

聚类

Clustering

没有标签的情况下,按相似度把样本自动分成若干组,让同组样本尽量接近、异组尽量分开;K均值最常见,分几类合适通常要人来判断。

机器学习
无监督学习特征工程

特征工程

Feature Engineering

从原始数据中构造、筛选和变换出对模型有用的特征,包括缺失值处理、编码、缩放和组合特征等;很多场景下它比换模型更能提升效果。

数据
数据清洗归一化

数据增强

Data Augmentation

对现有样本做旋转、裁剪、加噪、换色等变换,造出更多训练样本,让模型见到更多变化;它是缓解过拟合、提升鲁棒性的常用手段。

数据
过拟合图像分类

数据标注

Data Annotation

给数据打上标签或框出目标,为监督学习提供训练材料;标注质量和一致性非常关键,通常要制定规范、抽样复查,甚至多人交叉核对。

数据
监督学习数据清洗

数据集划分

Data Splitting

把数据分成训练集、验证集和测试集,分别用于学习参数、调整超参数和最终评估;划分不当会让评估结果虚高,比如造成数据泄漏。

数据
交叉验证数据泄漏

类别不平衡

Class Imbalance

某些类别的样本数量远多于其他类别,模型容易偏向多数类、忽略少数类;可以用重采样、类别加权或更合适的评估指标来缓解。

数据
数据增强损失函数

数据清洗

Data Cleaning

处理缺失值、重复值、异常值和格式错误,让数据变得干净可用;脏数据会直接拉低模型效果,这项工作通常占数据工作的大头。

数据
特征工程数据标注

数据泄漏

Data Leakage

训练时不小心用到了预测阶段拿不到的信息,导致验证分数虚高、上线后崩盘;典型例子是先对全量数据做归一化,再划分训练集。

数据
数据集划分交叉验证

归一化

Normalization

把不同量纲的特征缩放到相近范围,常见做法是减均值除标准差,或线性缩放到 0 到 1;它能让梯度下降更稳、训练收敛更快。

数据
特征工程梯度下降

神经网络

Neural Network

由多层神经元堆叠而成的模型,每层先对输入做加权求和,再经过激活函数做非线性变换,逐层抽象出特征;层数多的就是深度神经网络。

深度学习
反向传播激活函数

激活函数

Activation Function

神经元输出前套的非线性函数,如 ReLU、Sigmoid、Tanh,让网络能拟合复杂曲线;没有它,多层网络会退化成一个线性变换,也就学不了复杂模式。

深度学习
神经网络反向传播

反向传播

Backpropagation

从损失出发,用链式法则逐层算出每个参数对损失的梯度,再交给优化器更新;它是训练神经网络的核心算法,本质是高效的自动求导。

深度学习
梯度下降链式法则

卷积神经网络

Convolutional Neural Network (CNN)

用卷积核在图像上滑动提取局部特征,再逐层组合成更高层的语义;权值共享让它参数少、特别擅长处理图像,是计算机视觉的基石。

深度学习
特征图感受野

循环神经网络

Recurrent Neural Network (RNN)

按时间顺序逐个读入序列元素,并把上一步的隐藏状态传给下一步,因此能处理文本、语音等变长序列;长序列上容易梯度消失。

深度学习
长短期记忆网络序列到序列

长短期记忆网络

Long Short-Term Memory (LSTM)

在循环神经网络里加入门控结构,选择性地记住或遗忘信息,缓解了长序列上的梯度消失;它曾是机器翻译和语音识别的主力模型。

深度学习
循环神经网络Transformer

注意力机制

Attention Mechanism

让模型给输入的不同位置分配不同权重,把注意力集中在关键信息上;它不必按顺序处理,是 Transformer 和大语言模型的基础。

深度学习
Transformer长短期记忆网络

Transformer

Transformer

完全基于自注意力搭建的神经网络架构,可以并行处理整段序列;如今的大语言模型几乎都建立在它之上,是这一轮 AI 浪潮的地基。

深度学习
注意力机制大语言模型

残差连接

Residual Connection

把某一层的输入直接加到它的输出上再往下传,给梯度留一条捷径;这样网络能堆得很深而不退化,ResNet 就是靠它做到上百层。

深度学习
神经网络反向传播

批归一化

Batch Normalization

在一个小批次的样本上对每层输入做标准化,让各层的数据分布更稳定,从而加速收敛、允许更大的学习率;训练和推理时的行为不同。

深度学习
神经网络激活函数

随机失活

Dropout

训练时随机让一部分神经元暂时失效,迫使网络不依赖少数节点,相当于一种廉价的集成;推理时再全部启用,是经典的防过拟合手段。

深度学习
过拟合正则化

自编码器

Autoencoder

让网络先把输入压缩成低维编码,再还原出原始数据,训练目标就是尽量复现输入;中间的低维表示可用于降维、去噪和异常检测。

深度学习
无监督学习嵌入

生成对抗网络

Generative Adversarial Network (GAN)

用一个生成器造样本、一个判别器分辨真假,两者对抗训练,最终生成器能造出以假乱真的数据;训练不稳定、容易崩是它的老毛病。

深度学习
扩散模型图像生成

扩散模型

Diffusion Model

先给图片逐步加噪直到变成纯噪声,再训练网络学会一步步去噪还原;如今文生图、视频生成的主流模型基本都建立在这个思路上。

深度学习
图像生成生成对抗网络

大语言模型

Large Language Model (LLM)

在海量文本上预训练、参数规模通常达到数十亿以上的语言模型,能理解和生成自然语言,完成问答、写作、编程等任务;它让 AI 从专用工具变成通用助手。

大模型
Transformer预训练

预训练

Pre-training

先用海量无标注数据让模型学习语言规律和世界知识,得到一个通用底座,之后再针对具体任务微调;这一步成本最高,也最决定能力上限。

大模型
微调大语言模型

微调

Fine-tuning

在预训练模型的基础上,用特定任务或领域的数据继续训练,让通用模型更贴合自己的场景;所需数据量通常比预训练小几个数量级。

大模型
预训练低秩适配

指令微调

Instruction Tuning

用「指令—回答」格式的数据继续训练模型,让它学会听懂任务要求并按格式作答;这是聊天模型从会续写文字变成会干活的关键一步。

大模型
微调基于人类反馈的强化学习

基于人类反馈的强化学习

Reinforcement Learning from Human Feedback (RLHF)

先让人给模型的多个回答排序,训练一个奖励模型,再用强化学习让模型朝高分方向优化;ChatGPT 的对齐训练就采用了这套流程。

大模型
奖励函数指令微调

提示词

Prompt

发给模型的输入文本,包括任务描述、背景资料和输出要求,模型据此生成回答;它写得好不好,常常比换一个模型更能影响输出质量。

大模型
提示工程思维链

提示工程

Prompt Engineering

设计和迭代提示词的方法,包括明确角色、给示例、分步骤、约束输出格式等;目的是用更低的成本把模型的潜力充分榨出来。

大模型
提示词思维链

上下文窗口

Context Window

模型一次能读入的 token 数量上限,超出部分会被截断或遗忘;窗口越大能塞的资料越多,但推理成本和耗时也会随之上升。

大模型
提示词检索增强生成

幻觉

Hallucination

模型一本正经地编造不存在的事实、引用或数据,看起来可信却经不起核对;根源在于它是在预测下一个词,而不是在查证事实。

大模型
检索增强生成大语言模型

思维链

Chain-of-Thought (CoT)

让模型先把推理步骤一步步写出来,再给出最终答案,通常能提高数学、逻辑等复杂题的正确率;代价是输出更长、更慢、更贵。

大模型
提示工程推理

温度

Temperature

控制模型输出随机性的采样参数,温度调低更保守稳定,调高更多样但更容易跑偏;写代码要可靠就调低,写创意文案就调高。

大模型
大语言模型提示词

低秩适配

LoRA (Low-Rank Adaptation)

冻结原模型,只在旁边插入少量可训练的低秩矩阵来适配新任务,显存和存储开销都很小;它是个人微调大模型最常用的方案。

大模型
微调预训练

智能体

Agent

能感知环境、自己拆解目标、调用工具并执行多步任务的大模型应用形态;与只会一问一答的聊天机器人相比,它更强调自主行动和闭环。

大模型
工具调用任务规划大语言模型

工具调用

Tool Calling

让模型在需要时输出结构化的调用请求,去搜索、跑代码或查数据库,再把结果交回模型继续推理;它把大模型从只会说变成了能动手。

大模型
智能体记忆机制

任务规划

Task Planning

把用户给出的大目标拆成可执行的小步骤,并安排先后顺序和所需工具;规划得好不好,直接决定智能体能不能完成复杂任务。

大模型
智能体多智能体系统

记忆机制

Memory

让智能体把历史对话、经验或外部知识存下来,在后续任务中按需取回,从而跨轮次保持连贯;常见做法是短期对话缓存加长期向量库。

大模型
智能体上下文窗口

多智能体系统

Multi-Agent System

由多个各有分工的智能体协作完成任务的系统,可以互相讨论、分工和评审;设计难点在于通信、协调,以及避免大家集体跑偏。

大模型
智能体任务规划

多模态

Multimodal

同时处理文本、图像、音频、视频等多种信息形态的能力,比如看图回答问题和按文字生成视频;关键是把不同模态对齐到同一表示空间。

大模型
大语言模型视觉-语言-动作模型

检索增强生成

Retrieval-Augmented Generation (RAG)

先从知识库检索相关资料,再把资料放进提示词让模型据此作答,能显著减少幻觉,也能用上私有数据;是企业落地最常见的方案。

大模型
嵌入向量数据库幻觉

嵌入

Embedding

把词语、句子或图片映射成一串数字向量,让语义相近的内容在向量空间里距离也近;它是语义搜索、聚类和检索增强生成的基础。

大模型
向量数据库余弦相似度

向量数据库

Vector Database

专门存储和检索向量、支持按相似度快速找最近邻的数据库,常见的有 Milvus、Pinecone 等;它是 RAG 系统存放知识片段的仓库,选型时要看数据规模、延迟和过滤能力。

大模型
嵌入检索增强生成

重排序

Reranking

检索出候选片段后,再用更强的模型对它们逐一打分重排,把最相关的放到最前面;它比单纯向量检索更准,但要多花一步计算时间。

大模型
检索增强生成向量数据库

分词

Tokenization

把连续文本切成模型能处理的最小单位,中文没有空格,切分方式尤其影响效果;大模型时代常用子词切分,把词拆成更小的片段。

NLP
词向量语言模型

词向量

Word Embedding

把词表示成稠密向量的技术,语义相近的词向量距离也近,比如「国王」减「男人」加「女人」约等于「女王」;是早期词嵌入的代表。

NLP
嵌入分词

词性标注

Part-of-Speech Tagging

给句子中每个词标出名词、动词、形容词等词性,是句法分析的基础步骤;中文里同一个词可能有多种词性,必须结合上下文判断。

NLP
分词命名实体识别

命名实体识别

Named Entity Recognition (NER)

从文本中找出人名、地名、机构名、时间、金额等专有实体并分类,是信息抽取的基础任务;常用在搜索、客服和合同解析里。

NLP
词性标注句法分析

句法分析

Syntactic Parsing

分析句子的结构,比如谁修饰谁、主谓宾关系、短语如何嵌套,最终得到句法树;它能帮机器理解长句,也是早期机器翻译的重要组件。

NLP
词性标注命名实体识别

机器翻译

Machine Translation

让机器自动把一种语言翻译成另一种语言,从早期的规则和统计方法发展到今天的神经网络和大模型;通用场景的译文质量已相当可用。

NLP
序列到序列语言模型

文本分类

Text Classification

给一段文本打上一个或多个类别标签,比如垃圾邮件识别、新闻分类、工单分流;通常用预训练模型微调就能取得不错的效果。

NLP
情感分析语言模型

情感分析

Sentiment Analysis

判断一段文本表达的是正面、负面还是中性情绪,以及是针对什么对象的;电商评论和舆情监控常用,难点在反讽和隐晦表达。

NLP
文本分类命名实体识别

语言模型

Language Model

估计一段文本出现概率的模型,本质上是预测下一个词;从统计语言模型到神经网络语言模型,再到今天的大语言模型,一脉相承。

NLP
困惑度序列到序列

序列到序列

Sequence-to-Sequence (Seq2Seq)

用一个编码器把输入序列压成表示,再用解码器逐步生成输出序列的框架;机器翻译、文本摘要、语音识别都曾建立在这个结构上。

NLP
机器翻译语言模型

困惑度

Perplexity

衡量语言模型对一段文本有多「意外」的指标,困惑度越低说明模型越能预测这段文本;常用来比较模型好坏,但不同词表间不能直接比。

NLP
语言模型损失函数

图像分类

Image Classification

判断一张图属于哪个类别,比如猫、狗还是汽车,是计算机视觉最基础的任务;深度学习在这里第一次大幅超越传统方法,ResNet 就是代表。

CV
卷积神经网络目标检测

目标检测

Object Detection

不仅判断图里有什么,还要用矩形框标出每个目标的位置,比如行人、车辆;核心难点是定位与分类同时做好,并处理密集小目标。

CV
图像分类语义分割实例分割

语义分割

Semantic Segmentation

给图中每个像素分配一个类别,比如把路面、天空、行人分别涂上颜色,但同类中的不同个体不区分;常用于自动驾驶和医学影像。

CV
实例分割目标检测

实例分割

Instance Segmentation

在语义分割的基础上进一步区分同一类别的不同个体,比如把三只猫分别标出来;它比目标检测更精细,能给出目标的确切轮廓。

CV
语义分割目标检测

光学字符识别

Optical Character Recognition (OCR)

从图片或扫描件里识别出文字,通常包括检测文字区域和识别字符两步;发票、证件、车牌场景大量使用,手写体和复杂版式仍是难点。

CV
目标检测图像分类

关键点检测

Keypoint Detection

定位图像中具有特定含义的点,比如人脸五官、人体关节、手掌关键点;它是姿态估计、动作捕捉和人机交互的基础能力,精度常以像素误差衡量。

CV
目标检测实例分割

特征图

Feature Map

卷积网络中间层输出的张量,记录着不同位置、不同通道的局部特征;浅层特征图偏重边缘和纹理,深层更偏语义概念,可视化它有助于理解网络在看什么。

CV
卷积神经网络感受野

感受野

Receptive Field

卷积网络里一个输出像素在原始图像上能「看到」的区域大小,层层叠加会越来越大;感受野足够大,网络才能理解大目标和全局关系。

CV
卷积神经网络特征图

视觉Transformer

Vision Transformer (ViT)

把图像切成小块当作词序列,用 Transformer 的自注意力建模全局关系;数据充足时它常超过传统卷积网络,也是多模态模型常见的视觉骨干。

CV
Transformer图像分类

图像生成

Image Generation

让模型根据文字或条件凭空生成图像,从生成对抗网络到扩散模型,可控性和画质近年提升巨大;同时也带来深度伪造等新问题。

CV
扩散模型生成对抗网络

深度估计

Depth Estimation

从单张或多张图片推算每个像素离相机有多远,输出一张深度图;单目靠语义线索估计,双目和激光雷达更准,它是自动驾驶、三维重建和机器人抓取的基础。

CV
语义分割视觉-语言-动作模型

强化学习

Reinforcement Learning

让智能体在环境中不断尝试,根据奖励信号调整行为,学会让长期回报最大的策略;与监督学习不同,它没有标准答案,只有好坏反馈。

RL
马尔可夫决策过程奖励函数

马尔可夫决策过程

Markov Decision Process (MDP)

描述序贯决策的数学框架,由状态、动作、转移概率和奖励构成,并假设下一步只依赖当前状态;强化学习问题基本都建在它之上。

RL
强化学习价值函数

奖励函数

Reward Function

给智能体的每个行为打分,告诉它什么是好、什么是坏,整个学习方向由它决定;设计得好不好往往是强化学习成败的关键,设计错了智能体可能学会钻空子。

RL
强化学习策略

策略

Policy

强化学习里智能体的行为规则,给定状态该选哪个动作,可以是确定映射,也可以是概率分布;训练的目标就是找到最优策略。

RL
价值函数策略梯度

价值函数

Value Function

评估在某个状态或状态动作对下,未来能拿到多少累计奖励,相当于给局面打分;有了它,智能体能权衡眼前收益和长远收益。

RL
Q学习策略

Q学习

Q-Learning

一种不依赖环境模型的强化学习算法,通过不断更新状态动作价值来逼近最优策略;DQN 就是把 Q学习 和深度神经网络结合起来的版本。

RL
价值函数强化学习

策略梯度

Policy Gradient

直接对策略参数求梯度,按让高回报动作更可能被选中的方向更新,适合连续动作空间;方差大是它的主要缺点,常用基线和演员-评论家来降低。

RL
策略演员-评论家

演员-评论家

Actor-Critic

同时学一个策略网络和一个价值网络,用价值网络给动作打分来指导策略改进;它兼顾了策略梯度和值函数方法的长处,是现代深度强化学习的主流框架。

RL
策略梯度价值函数

探索与利用

Exploration-Exploitation

强化学习的基本矛盾:是尝试新动作以发现更好的选择,还是沿用已知的高回报动作;常见解法有意贪心、玻尔兹曼探索和乐观初始化。

RL
强化学习奖励函数

折扣因子

Discount Factor

把未来奖励折算到现在的系数,取值在 0 到 1 之间,越接近 1 越重视长远回报;它决定智能体是短视还是深谋远虑。

RL
马尔可夫决策过程价值函数

环境

Environment

强化学习中智能体所处的外部世界,接收动作、返回新状态和奖励,可以是模拟器、游戏,也可以是真实机器人;保真度决定策略能否迁移。

RL
马尔可夫决策过程强化学习

机器人操作系统

Robot Operating System (ROS)

一套开源的机器人软件框架,提供通信、消息、工具和大量现成功能包,让传感器、算法和控制器模块化协作;ROS 2 是当前主推版本。

机器人
运动规划同时定位与建图

具身智能

Embodied AI

让智能体拥有物理身体,在真实或仿真环境中感知、决策和行动,并从交互中学习;相比纯软件 AI,它还要面对物理约束和现实噪声。

机器人
视觉-语言-动作模型仿真到现实

运动规划

Motion Planning

为机器人规划出一条从起点到目标、不撞障碍且满足运动学与动力学约束的路径或轨迹;要同时兼顾可行性、效率和安全性,常见做法有采样式规划和优化式规划。

机器人
同时定位与建图机器人操作系统

正运动学

Forward Kinematics

已知机器人各关节的角度,算出末端执行器在空间中的位置和姿态,结果唯一;它是控制、标定和轨迹规划的基础计算,反过来求解就是逆运动学。

机器人
逆运动学末端执行器

逆运动学

Inverse Kinematics

已知末端要到达的位置和姿态,反解出各关节该转多少度;结果可能有多解或无解,常需数值迭代,是抓取、焊接等作业的关键。

机器人
正运动学运动规划

同时定位与建图

Simultaneous Localization and Mapping (SLAM)

机器人一边在未知环境里移动一边建图,同时用地图校正自己的位置,解决「我在哪、周围长什么样」;是移动机器人自主导航的核心能力。

机器人
激光雷达点云

激光雷达

LiDAR

通过发射激光并测量反射时间,得到周围物体精确的距离和轮廓,生成点云;自动驾驶和扫地机器人常用,成本较高,雨雾天会受影响。

机器人
点云同时定位与建图

点云

Point Cloud

三维空间中一堆带坐标的点,记录物体表面的形状和位置,通常由激光雷达或深度相机产生;可以用于配准、分割和识别三维场景。

机器人
激光雷达同时定位与建图

仿真到现实

Sim-to-Real

先在仿真环境里低成本、安全地训练策略,再迁移到真实机器人上;难点是仿真和现实总有差距,常用域随机化来抹平这个鸿沟。

机器人
具身智能强化学习

模仿学习

Imitation Learning

让机器人观察人类示范的动作,直接学习看到什么就做什么的策略,不必自己反复试错;数据效率高,但遇到示范之外的情况容易失灵。

机器人
强化学习具身智能

传感器融合

Sensor Fusion

把摄像头、激光雷达、IMU、轮速计等多个传感器的数据合在一起,互相补盲、降低不确定性,得到更可靠的环境感知和定位结果。

机器人
激光雷达同时定位与建图

末端执行器

End Effector

装在机器人手臂末端、直接干活的部分,比如夹爪、吸盘、焊枪或灵巧手;它的能力在很大程度上决定机器人能完成什么任务。

机器人
运动规划逆运动学

视觉-语言-动作模型

Vision-Language-Action Model (VLA)

同时理解图像和语言指令、并直接输出机器人动作的大模型,被视为具身智能的通用底座;它能把互联网上学到的常识迁移到物理操作中。

机器人
具身智能多模态

视觉伺服

Visual Servoing

用相机图像做实时反馈来调整机器人运动,让目标始终保持期望位置;分基于位置和基于图像两类,适合抓取和动态跟踪,但对相机标定误差比较敏感。

机器人
运动规划目标检测

推理

Inference

训练好的模型实际跑一遍、给出预测的过程,通常只做前向计算、不再更新参数;线上服务的延迟、吞吐和成本主要由这一步决定。

工程
模型量化模型服务化

模型量化

Model Quantization

把模型参数从 32 位浮点数换成 8 位甚至 4 位整数,显著减小体积、加快推理,代价是精度略有下降;边缘部署几乎必做。

工程
模型剪枝知识蒸馏

知识蒸馏

Knowledge Distillation

用一个能力强的教师模型指导小学生模型学习,把前者的输出分布也当作监督信号;在参数量大幅减少时尽量保住效果,是压缩大模型、加速推理的常用手段。

工程
模型量化模型剪枝

模型剪枝

Model Pruning

删掉网络里贡献小的权重、通道甚至整层,让模型变瘦变快、显存更省;一般要再微调恢复精度,剪枝后结构稀疏,需要专门的推理库才能真加速。

工程
模型量化知识蒸馏

键值缓存

KV Cache

自回归生成时把已经算过的注意力键值存起来,后续 token 直接复用,避免重复计算;它用显存换速度,也是长上下文推理的主要瓶颈。

工程
推理上下文窗口

机器学习运维

MLOps

把软件工程实践用到机器学习上,覆盖数据版本、训练流水线、模型评估、部署和监控,让模型能持续、可复现地训练和上线。

工程
模型服务化边缘计算

边缘计算

Edge Computing

把计算放到离数据产生的地方,比如手机、摄像头和机器人上,而不是全部传回云端;好处是低延迟、省带宽、护隐私,代价是算力和功耗有限。

工程
模型量化推理

模型服务化

Model Serving

把训练好的模型包装成接口或服务,让业务系统能稳定调用,需要处理并发、扩缩容、版本管理和监控告警;是从实验走向生产的关键一步。

工程
推理机器学习运维

梯度

Gradient

函数对参数求导得到的向量,指向函数上升最快的方向,因此沿反方向走就能让损失变小;它是参数更新的依据,也是梯度下降算法的核心。

数学
梯度下降反向传播

梯度下降

Gradient Descent

沿着损失下降最快的方向一小步一小步地更新参数,最终找到损失较低的点;步长就是学习率,是几乎所有神经网络训练的基础算法。

数学
学习率损失函数

学习率

Learning Rate

每次参数更新时迈出的步长,太大容易震荡发散,太小训练慢甚至卡住;常用预热、衰减等策略来调得更稳,是最重要的超参数之一。

数学
梯度下降损失函数

损失函数

Loss Function

衡量模型预测和正确答案差多少的函数,训练目标就是把它压到最小;分类常用交叉熵,回归常用均方误差,选错会让优化方向跑偏。

数学
梯度下降正则化

链式法则

Chain Rule

复合函数求导的基本规则:把外层对内层的导数逐层相乘;反向传播能高效算出整个网络的梯度,靠的就是它,也是自动求导的理论基础。

数学
反向传播梯度

余弦相似度

Cosine Similarity

用两个向量夹角的余弦值衡量相似程度,取值在 -1 到 1 之间,越接近 1 越相似;它只看方向不看长度,是向量检索的常用指标。

数学
嵌入向量数据库

概率分布

Probability Distribution

描述随机变量取各个值可能性大小的数学对象,离散型用概率质量函数,连续型用概率密度函数;机器学习里的不确定性几乎都用它建模。

数学
马尔可夫决策过程损失函数探索与利用