监督学习
Supervised Learning用带标签的样本训练模型,让它学会从输入预测输出,分类和回归都属于这一类;标签的数量和质量直接决定模型效果的上限,也是它区别于强化学习的关键。
GLOSSARY
120 个 AI / 机器人常用术语,中文解释 + 英文原名,适合随时查。按分类筛选或直接搜索。
共 120 个术语
用带标签的样本训练模型,让它学会从输入预测输出,分类和回归都属于这一类;标签的数量和质量直接决定模型效果的上限,也是它区别于强化学习的关键。
不给标签,让模型自己从数据里找结构和规律,常用来做聚类、降维和异常检测;结果往往需要人来解释,比如把相似用户自动分到同一群。
模型把训练数据里的细节甚至噪声都学了进去,训练集分数很高,碰到新数据却明显变差;常见解法是正则化、扩数据、早停和简化模型。
模型连训练集都没学好,各项分数普遍偏低,通常因为模型太简单、特征不够或训练不足;它和过拟合是两个相反的方向,需要一起权衡。
在训练目标里加一个惩罚项,压制模型参数变得过大,从而降低过拟合、提升泛化;常见形式有 L2 权重衰减和 L1 稀疏约束。
模型在没见过的数据上表现好坏的能力,才是真正衡量它有没有学会的标准;泛化差通常意味着过拟合,或者训练数据和线上数据分布不一致。
把数据切成若干折,轮流用其中一折做验证、其余做训练,最后取平均成绩;样本不多时比单次划分更稳定,常见的是五折和十折。
偏差衡量模型本身的系统性错误,方差衡量它对训练样本波动的敏感程度;模型太简单偏差大,太复杂方差大,要做的是在两者之间找平衡。
像流程图一样按特征层层提问、把样本分到不同叶子的模型,可解释性强;单棵树容易过拟合,所以常被组合成随机森林或梯度提升。
训练很多棵决策树,每棵只看部分样本和部分特征,再投票或取平均得到结果;这种随机性让整体更稳、更不容易过拟合,是表格数据的常用基线。
在两类样本之间找一条间隔最大的分界线,并靠核函数把低维难分的数据映射到高维再分开;适合中小规模、特征维度高的数据。
一棵接一棵地训练决策树,每棵新树专门拟合前面所有树留下的误差,逐步把整体预测修正得更准;XGBoost 和 LightGBM 是它的代表实现。
把多个弱模型组合成一个强模型,通过投票、平均或堆叠提升效果,核心思路是让多个模型取长补短;随机森林和梯度提升都属于这条路线。
没有标签的情况下,按相似度把样本自动分成若干组,让同组样本尽量接近、异组尽量分开;K均值最常见,分几类合适通常要人来判断。
从原始数据中构造、筛选和变换出对模型有用的特征,包括缺失值处理、编码、缩放和组合特征等;很多场景下它比换模型更能提升效果。
对现有样本做旋转、裁剪、加噪、换色等变换,造出更多训练样本,让模型见到更多变化;它是缓解过拟合、提升鲁棒性的常用手段。
给数据打上标签或框出目标,为监督学习提供训练材料;标注质量和一致性非常关键,通常要制定规范、抽样复查,甚至多人交叉核对。
把数据分成训练集、验证集和测试集,分别用于学习参数、调整超参数和最终评估;划分不当会让评估结果虚高,比如造成数据泄漏。
某些类别的样本数量远多于其他类别,模型容易偏向多数类、忽略少数类;可以用重采样、类别加权或更合适的评估指标来缓解。
处理缺失值、重复值、异常值和格式错误,让数据变得干净可用;脏数据会直接拉低模型效果,这项工作通常占数据工作的大头。
训练时不小心用到了预测阶段拿不到的信息,导致验证分数虚高、上线后崩盘;典型例子是先对全量数据做归一化,再划分训练集。
把不同量纲的特征缩放到相近范围,常见做法是减均值除标准差,或线性缩放到 0 到 1;它能让梯度下降更稳、训练收敛更快。
由多层神经元堆叠而成的模型,每层先对输入做加权求和,再经过激活函数做非线性变换,逐层抽象出特征;层数多的就是深度神经网络。
神经元输出前套的非线性函数,如 ReLU、Sigmoid、Tanh,让网络能拟合复杂曲线;没有它,多层网络会退化成一个线性变换,也就学不了复杂模式。
从损失出发,用链式法则逐层算出每个参数对损失的梯度,再交给优化器更新;它是训练神经网络的核心算法,本质是高效的自动求导。
用卷积核在图像上滑动提取局部特征,再逐层组合成更高层的语义;权值共享让它参数少、特别擅长处理图像,是计算机视觉的基石。
按时间顺序逐个读入序列元素,并把上一步的隐藏状态传给下一步,因此能处理文本、语音等变长序列;长序列上容易梯度消失。
在循环神经网络里加入门控结构,选择性地记住或遗忘信息,缓解了长序列上的梯度消失;它曾是机器翻译和语音识别的主力模型。
让模型给输入的不同位置分配不同权重,把注意力集中在关键信息上;它不必按顺序处理,是 Transformer 和大语言模型的基础。
完全基于自注意力搭建的神经网络架构,可以并行处理整段序列;如今的大语言模型几乎都建立在它之上,是这一轮 AI 浪潮的地基。
把某一层的输入直接加到它的输出上再往下传,给梯度留一条捷径;这样网络能堆得很深而不退化,ResNet 就是靠它做到上百层。
在一个小批次的样本上对每层输入做标准化,让各层的数据分布更稳定,从而加速收敛、允许更大的学习率;训练和推理时的行为不同。
训练时随机让一部分神经元暂时失效,迫使网络不依赖少数节点,相当于一种廉价的集成;推理时再全部启用,是经典的防过拟合手段。
让网络先把输入压缩成低维编码,再还原出原始数据,训练目标就是尽量复现输入;中间的低维表示可用于降维、去噪和异常检测。
用一个生成器造样本、一个判别器分辨真假,两者对抗训练,最终生成器能造出以假乱真的数据;训练不稳定、容易崩是它的老毛病。
先给图片逐步加噪直到变成纯噪声,再训练网络学会一步步去噪还原;如今文生图、视频生成的主流模型基本都建立在这个思路上。
在海量文本上预训练、参数规模通常达到数十亿以上的语言模型,能理解和生成自然语言,完成问答、写作、编程等任务;它让 AI 从专用工具变成通用助手。
先用海量无标注数据让模型学习语言规律和世界知识,得到一个通用底座,之后再针对具体任务微调;这一步成本最高,也最决定能力上限。
在预训练模型的基础上,用特定任务或领域的数据继续训练,让通用模型更贴合自己的场景;所需数据量通常比预训练小几个数量级。
用「指令—回答」格式的数据继续训练模型,让它学会听懂任务要求并按格式作答;这是聊天模型从会续写文字变成会干活的关键一步。
先让人给模型的多个回答排序,训练一个奖励模型,再用强化学习让模型朝高分方向优化;ChatGPT 的对齐训练就采用了这套流程。
发给模型的输入文本,包括任务描述、背景资料和输出要求,模型据此生成回答;它写得好不好,常常比换一个模型更能影响输出质量。
设计和迭代提示词的方法,包括明确角色、给示例、分步骤、约束输出格式等;目的是用更低的成本把模型的潜力充分榨出来。
模型一次能读入的 token 数量上限,超出部分会被截断或遗忘;窗口越大能塞的资料越多,但推理成本和耗时也会随之上升。
模型一本正经地编造不存在的事实、引用或数据,看起来可信却经不起核对;根源在于它是在预测下一个词,而不是在查证事实。
让模型先把推理步骤一步步写出来,再给出最终答案,通常能提高数学、逻辑等复杂题的正确率;代价是输出更长、更慢、更贵。
控制模型输出随机性的采样参数,温度调低更保守稳定,调高更多样但更容易跑偏;写代码要可靠就调低,写创意文案就调高。
冻结原模型,只在旁边插入少量可训练的低秩矩阵来适配新任务,显存和存储开销都很小;它是个人微调大模型最常用的方案。
能感知环境、自己拆解目标、调用工具并执行多步任务的大模型应用形态;与只会一问一答的聊天机器人相比,它更强调自主行动和闭环。
让模型在需要时输出结构化的调用请求,去搜索、跑代码或查数据库,再把结果交回模型继续推理;它把大模型从只会说变成了能动手。
把用户给出的大目标拆成可执行的小步骤,并安排先后顺序和所需工具;规划得好不好,直接决定智能体能不能完成复杂任务。
让智能体把历史对话、经验或外部知识存下来,在后续任务中按需取回,从而跨轮次保持连贯;常见做法是短期对话缓存加长期向量库。
由多个各有分工的智能体协作完成任务的系统,可以互相讨论、分工和评审;设计难点在于通信、协调,以及避免大家集体跑偏。
同时处理文本、图像、音频、视频等多种信息形态的能力,比如看图回答问题和按文字生成视频;关键是把不同模态对齐到同一表示空间。
先从知识库检索相关资料,再把资料放进提示词让模型据此作答,能显著减少幻觉,也能用上私有数据;是企业落地最常见的方案。
把词语、句子或图片映射成一串数字向量,让语义相近的内容在向量空间里距离也近;它是语义搜索、聚类和检索增强生成的基础。
专门存储和检索向量、支持按相似度快速找最近邻的数据库,常见的有 Milvus、Pinecone 等;它是 RAG 系统存放知识片段的仓库,选型时要看数据规模、延迟和过滤能力。
检索出候选片段后,再用更强的模型对它们逐一打分重排,把最相关的放到最前面;它比单纯向量检索更准,但要多花一步计算时间。
把连续文本切成模型能处理的最小单位,中文没有空格,切分方式尤其影响效果;大模型时代常用子词切分,把词拆成更小的片段。
把词表示成稠密向量的技术,语义相近的词向量距离也近,比如「国王」减「男人」加「女人」约等于「女王」;是早期词嵌入的代表。
给句子中每个词标出名词、动词、形容词等词性,是句法分析的基础步骤;中文里同一个词可能有多种词性,必须结合上下文判断。
从文本中找出人名、地名、机构名、时间、金额等专有实体并分类,是信息抽取的基础任务;常用在搜索、客服和合同解析里。
分析句子的结构,比如谁修饰谁、主谓宾关系、短语如何嵌套,最终得到句法树;它能帮机器理解长句,也是早期机器翻译的重要组件。
让机器自动把一种语言翻译成另一种语言,从早期的规则和统计方法发展到今天的神经网络和大模型;通用场景的译文质量已相当可用。
给一段文本打上一个或多个类别标签,比如垃圾邮件识别、新闻分类、工单分流;通常用预训练模型微调就能取得不错的效果。
判断一段文本表达的是正面、负面还是中性情绪,以及是针对什么对象的;电商评论和舆情监控常用,难点在反讽和隐晦表达。
估计一段文本出现概率的模型,本质上是预测下一个词;从统计语言模型到神经网络语言模型,再到今天的大语言模型,一脉相承。
用一个编码器把输入序列压成表示,再用解码器逐步生成输出序列的框架;机器翻译、文本摘要、语音识别都曾建立在这个结构上。
衡量语言模型对一段文本有多「意外」的指标,困惑度越低说明模型越能预测这段文本;常用来比较模型好坏,但不同词表间不能直接比。
判断一张图属于哪个类别,比如猫、狗还是汽车,是计算机视觉最基础的任务;深度学习在这里第一次大幅超越传统方法,ResNet 就是代表。
不仅判断图里有什么,还要用矩形框标出每个目标的位置,比如行人、车辆;核心难点是定位与分类同时做好,并处理密集小目标。
给图中每个像素分配一个类别,比如把路面、天空、行人分别涂上颜色,但同类中的不同个体不区分;常用于自动驾驶和医学影像。
在语义分割的基础上进一步区分同一类别的不同个体,比如把三只猫分别标出来;它比目标检测更精细,能给出目标的确切轮廓。
从图片或扫描件里识别出文字,通常包括检测文字区域和识别字符两步;发票、证件、车牌场景大量使用,手写体和复杂版式仍是难点。
定位图像中具有特定含义的点,比如人脸五官、人体关节、手掌关键点;它是姿态估计、动作捕捉和人机交互的基础能力,精度常以像素误差衡量。
卷积网络中间层输出的张量,记录着不同位置、不同通道的局部特征;浅层特征图偏重边缘和纹理,深层更偏语义概念,可视化它有助于理解网络在看什么。
卷积网络里一个输出像素在原始图像上能「看到」的区域大小,层层叠加会越来越大;感受野足够大,网络才能理解大目标和全局关系。
把图像切成小块当作词序列,用 Transformer 的自注意力建模全局关系;数据充足时它常超过传统卷积网络,也是多模态模型常见的视觉骨干。
让模型根据文字或条件凭空生成图像,从生成对抗网络到扩散模型,可控性和画质近年提升巨大;同时也带来深度伪造等新问题。
从单张或多张图片推算每个像素离相机有多远,输出一张深度图;单目靠语义线索估计,双目和激光雷达更准,它是自动驾驶、三维重建和机器人抓取的基础。
让智能体在环境中不断尝试,根据奖励信号调整行为,学会让长期回报最大的策略;与监督学习不同,它没有标准答案,只有好坏反馈。
描述序贯决策的数学框架,由状态、动作、转移概率和奖励构成,并假设下一步只依赖当前状态;强化学习问题基本都建在它之上。
给智能体的每个行为打分,告诉它什么是好、什么是坏,整个学习方向由它决定;设计得好不好往往是强化学习成败的关键,设计错了智能体可能学会钻空子。
强化学习里智能体的行为规则,给定状态该选哪个动作,可以是确定映射,也可以是概率分布;训练的目标就是找到最优策略。
评估在某个状态或状态动作对下,未来能拿到多少累计奖励,相当于给局面打分;有了它,智能体能权衡眼前收益和长远收益。
一种不依赖环境模型的强化学习算法,通过不断更新状态动作价值来逼近最优策略;DQN 就是把 Q学习 和深度神经网络结合起来的版本。
直接对策略参数求梯度,按让高回报动作更可能被选中的方向更新,适合连续动作空间;方差大是它的主要缺点,常用基线和演员-评论家来降低。
同时学一个策略网络和一个价值网络,用价值网络给动作打分来指导策略改进;它兼顾了策略梯度和值函数方法的长处,是现代深度强化学习的主流框架。
强化学习的基本矛盾:是尝试新动作以发现更好的选择,还是沿用已知的高回报动作;常见解法有意贪心、玻尔兹曼探索和乐观初始化。
把未来奖励折算到现在的系数,取值在 0 到 1 之间,越接近 1 越重视长远回报;它决定智能体是短视还是深谋远虑。
强化学习中智能体所处的外部世界,接收动作、返回新状态和奖励,可以是模拟器、游戏,也可以是真实机器人;保真度决定策略能否迁移。
一套开源的机器人软件框架,提供通信、消息、工具和大量现成功能包,让传感器、算法和控制器模块化协作;ROS 2 是当前主推版本。
让智能体拥有物理身体,在真实或仿真环境中感知、决策和行动,并从交互中学习;相比纯软件 AI,它还要面对物理约束和现实噪声。
为机器人规划出一条从起点到目标、不撞障碍且满足运动学与动力学约束的路径或轨迹;要同时兼顾可行性、效率和安全性,常见做法有采样式规划和优化式规划。
已知机器人各关节的角度,算出末端执行器在空间中的位置和姿态,结果唯一;它是控制、标定和轨迹规划的基础计算,反过来求解就是逆运动学。
已知末端要到达的位置和姿态,反解出各关节该转多少度;结果可能有多解或无解,常需数值迭代,是抓取、焊接等作业的关键。
机器人一边在未知环境里移动一边建图,同时用地图校正自己的位置,解决「我在哪、周围长什么样」;是移动机器人自主导航的核心能力。
通过发射激光并测量反射时间,得到周围物体精确的距离和轮廓,生成点云;自动驾驶和扫地机器人常用,成本较高,雨雾天会受影响。
三维空间中一堆带坐标的点,记录物体表面的形状和位置,通常由激光雷达或深度相机产生;可以用于配准、分割和识别三维场景。
先在仿真环境里低成本、安全地训练策略,再迁移到真实机器人上;难点是仿真和现实总有差距,常用域随机化来抹平这个鸿沟。
让机器人观察人类示范的动作,直接学习看到什么就做什么的策略,不必自己反复试错;数据效率高,但遇到示范之外的情况容易失灵。
把摄像头、激光雷达、IMU、轮速计等多个传感器的数据合在一起,互相补盲、降低不确定性,得到更可靠的环境感知和定位结果。
装在机器人手臂末端、直接干活的部分,比如夹爪、吸盘、焊枪或灵巧手;它的能力在很大程度上决定机器人能完成什么任务。
同时理解图像和语言指令、并直接输出机器人动作的大模型,被视为具身智能的通用底座;它能把互联网上学到的常识迁移到物理操作中。
用相机图像做实时反馈来调整机器人运动,让目标始终保持期望位置;分基于位置和基于图像两类,适合抓取和动态跟踪,但对相机标定误差比较敏感。
训练好的模型实际跑一遍、给出预测的过程,通常只做前向计算、不再更新参数;线上服务的延迟、吞吐和成本主要由这一步决定。
把模型参数从 32 位浮点数换成 8 位甚至 4 位整数,显著减小体积、加快推理,代价是精度略有下降;边缘部署几乎必做。
用一个能力强的教师模型指导小学生模型学习,把前者的输出分布也当作监督信号;在参数量大幅减少时尽量保住效果,是压缩大模型、加速推理的常用手段。
删掉网络里贡献小的权重、通道甚至整层,让模型变瘦变快、显存更省;一般要再微调恢复精度,剪枝后结构稀疏,需要专门的推理库才能真加速。
自回归生成时把已经算过的注意力键值存起来,后续 token 直接复用,避免重复计算;它用显存换速度,也是长上下文推理的主要瓶颈。
把软件工程实践用到机器学习上,覆盖数据版本、训练流水线、模型评估、部署和监控,让模型能持续、可复现地训练和上线。
把计算放到离数据产生的地方,比如手机、摄像头和机器人上,而不是全部传回云端;好处是低延迟、省带宽、护隐私,代价是算力和功耗有限。
把训练好的模型包装成接口或服务,让业务系统能稳定调用,需要处理并发、扩缩容、版本管理和监控告警;是从实验走向生产的关键一步。
函数对参数求导得到的向量,指向函数上升最快的方向,因此沿反方向走就能让损失变小;它是参数更新的依据,也是梯度下降算法的核心。
沿着损失下降最快的方向一小步一小步地更新参数,最终找到损失较低的点;步长就是学习率,是几乎所有神经网络训练的基础算法。
每次参数更新时迈出的步长,太大容易震荡发散,太小训练慢甚至卡住;常用预热、衰减等策略来调得更稳,是最重要的超参数之一。
衡量模型预测和正确答案差多少的函数,训练目标就是把它压到最小;分类常用交叉熵,回归常用均方误差,选错会让优化方向跑偏。
复合函数求导的基本规则:把外层对内层的导数逐层相乘;反向传播能高效算出整个网络的梯度,靠的就是它,也是自动求导的理论基础。
用两个向量夹角的余弦值衡量相似程度,取值在 -1 到 1 之间,越接近 1 越相似;它只看方向不看长度,是向量检索的常用指标。
描述随机变量取各个值可能性大小的数学对象,离散型用概率质量函数,连续型用概率密度函数;机器学习里的不确定性几乎都用它建模。
没有找到匹配术语。