大模型
从 Token 到部署,理解当前 AI 的核心引擎
大模型(Large Language Model,LLM)是以 Transformer 为骨架、在海量文本上预训练、再用指令与偏好数据对齐的语言模型。它把「预测下一个 Token」练成了通用能力:写作、翻译、写代码、推理、调用工具都能用同一套接口完成。对开发者来说,LLM 已经不只是 API,而是一个需要理解上下文窗口、采样参数、成本与延迟的工程组件。
为什么值得现在学
近两年模型能力、推理成本与开源生态同时变化:闭源模型持续迭代,Llama、Qwen、DeepSeek 等开放权重模型让本地部署和微调成为常规选项;上下文窗口扩展到十万 Token 级别,长文档分析、代码库理解因此可行。同时,模型调用已经成为一种新的系统组件:提示词、上下文、工具与评测共同决定最终效果,单靠换模型很难解决系统性问题。理解 LLM 的内部机制与工程边界,决定了你只是「会调接口」,还是能做出稳定可用的产品。
必须掌握的四个概念
- Tokenizer 与上下文窗口:文本如何被切分、如何计费,长上下文为什么会出现「中间遗忘」。
- Transformer 与注意力:自注意力、位置编码和 KV Cache 决定了推理成本随序列长度增长的方式。
- 训练三阶段:预训练、监督微调(SFT)、偏好对齐(RLHF 或 DPO),每一步各自改变什么能力。
- 推理参数:temperature、top-p、最大输出长度与结构化输出,直接影响结果的稳定性与可复现性。
学习路径与常见误区
建议顺序是:先用可视化材料建立 Transformer 直觉,再读原始论文与一篇开放权重模型的技术报告,最后用 Hugging Face 课程动手做一次 LoRA 微调与量化部署。过程中至少要完整跑通一次「取数据、训练、评测、上线」的闭环。如果时间有限,优先搞懂推理与部署这一环,因为它离线上问题最近。
读完本专题的概念文章后,可以接着进入 Agent 与 RAG,把模型接进真实系统,而不是停留在聊天框里。另外,养成记录实验配置的习惯,会让你少走很多弯路。
这个专题要回答的问题
- 大模型是怎么「学会」说话的?预训练、SFT 和 RLHF 各起什么作用?
- 参数量越大效果一定越好吗?7B 和 70B 模型该怎么选?
- 开源模型和闭源 API,什么情况下该用哪个?
- 上下文窗口已经很大了,还需要 RAG 吗?
- 在自己电脑上跑大模型,最低需要什么配置?
- 怎么判断一个模型在我的任务上到底好不好?
精选资源
理解自注意力与位置编码的起点,建议配合图解一起读。
用可视化方式讲清 Transformer 的数据流,适合先建立直觉。
从 Tokenizer 到微调与部署的免费动手课程。
从零实现语言模型,讲义与作业公开,适合想深入原理的进阶学习者。
开放权重模型的技术报告,可了解预训练数据、规模与对齐流程。
相关文章
大模型入门:先搞懂这 10 个概念
从词元(Token)、参数、上下文窗口到幻觉与 RAG,用一篇能直接上手的入门指南,讲清大模型最常被误解的 10 个概念,帮零基础读者读懂产品文档、判断宣传真假、少踩坑。
Transformer 结构详解:注意力、多头、位置编码与残差
拆开 Transformer:自注意力里 Q/K/V 的分工、缩放点积的原因、多头如何并行看不同子空间、位置编码与残差和层归一化如何让深网络可训练,附结构对照与常见坑。
Prompt 工程进阶:从"会问"到可复用、可评测的提示系统
把提示词当代码来维护:拆成可复用部件,用结构化输出锁住格式,用小型评测集配对比较改动效果。附最小可运行示例、选型对比表和常见坑清单,适合已把大模型接入业务的开发者。
微调、LoRA、RAG 怎么选:一张决策表 + 最小实践路径
微调不是万能钥匙,也不是知识库。本文讲清全参微调、LoRA、QLoRA 与 RAG 各自改变什么,用一张决策表帮你选路线,再给数据准备、训练配置、回归评测的最小实践路径与常见坑。
大模型评测:怎么判断一个模型/提示"到底行不行"
评测不是跑排行榜,而是回答「这一版比上一版好还是差」。本文讲指标设计、LLM 裁判与人工校准的取舍,用 bootstrap 区间避免被噪声误导,并给出评测集建设与常见坑清单。
大模型安全与合规入门:提示注入、数据泄露与上线前的检查清单
大模型安全不只是内容审核。本文从威胁模型讲起,解释间接提示注入与「致命三要素」,给出最小权限、人工确认、出口控制等防线与示例,并整理 NIST、欧盟与国内的合规基线与上线清单。