很多人第一次用大模型,是从背「提示词模板」开始的。模板能救急,但换个模型、换个任务往往就失效。原因在于:提示词的效果,取决于模型怎么读文本、怎么记住上下文、怎么生成下一个词。这些机制就是概念。搞懂概念,你才能判断一个说法是广告还是事实。
这篇按「模型怎么工作 → 怎么用它 → 它为什么会出错」的顺序,拆开讲 10 个概念,每个都配一句人话解释和一个可操作动作。
一、模型怎么读、怎么写
1. Token:模型眼里的最小单位
模型不直接读汉字或英文单词,而是先把文本切成 token(词元),再对 token 序列做计算。一个汉字可能对应一个或多个 token,英文单词也可能被拆成几段,具体取决于分词器。所以同一段话,中文和英文消耗的 token 数并不相同。
可操作:粗估成本或上下文占用时,可以按「中文 1 个字约 1~2 token、英文 4 个字符约 1 token」来算;精确值请用对应平台的 tokenizer 工具。
2. 参数:被训练出来的那些数字
参数(也叫权重)是模型内部大量可调的数字。训练就是在不断调整这些数字,让模型更会预测下一个 token。参数越多,模型通常能容纳更多知识和模式,但参数不是唯一变量:数据质量、训练方法、后训练都会明显影响实际表现。看到参数量,把它当作参考指标,而不是能力排行榜。
3. Transformer 与自注意力:让每个词看见上下文
现在的主流大模型都基于 Transformer,这一结构在 2017 年的论文《Attention Is All You Need》中提出。它的核心是自注意力:处理某个 token 时,模型会给句子中其他 token 分配不同的关注权重,把上下文信息聚合过来。好处是能并行处理整段文本,也更容易捕捉长距离依赖。
可操作:不必会推公式,但要记住一个推论——上下文里放什么,直接决定模型「看见」什么。关键信息别埋在废话中间。
二、模型怎么被训练出来
4. 预训练与后训练:先通读,再调教
预训练是在海量文本上做「预测下一个 token」的训练,让模型学会语言规律和世界知识。后训练再把它调成好用的助手,常见做法有指令微调(用人工写的高质量问答教它按指令回答)和基于人类反馈的强化学习(RLHF,让输出更符合人类偏好)。InstructGPT 论文系统描述了「指令微调 + 奖励模型 + PPO」这条路线。
这能解释一个常见困惑:为什么基础模型直接聊天常常答非所问,而产品里的助手却很听话——差别主要在后训练。
三、怎么把模型用对
5. 上下文窗口:一次能读多少
上下文窗口是模型单次请求能处理的 token 上限,通常输入和输出共用这个额度。窗口越大,能塞进去的资料越多,但不等于越长越好:内容越长,模型定位关键信息的难度和成本都会上升。
可操作:处理长文档时先摘要或分段,再让模型基于相关片段回答,别默认「全塞进去效果最好」。
6. 提示词与上下文学习
提示词是你给模型的指令和背景。GPT-3 论文展示了上下文学习:不更新参数,只在提示里给几个示例,模型就能照着做(few-shot)。所以提示词的关键不是玄学话术,而是把任务、输入、输出格式、判断标准说清楚。
可操作清单:
- 写清角色和任务目标;
- 规定输出的结构与长度;
- 给一个正例,必要时再给一个反例;
- 把「不知道就说不知道」写进规则。
7. 思维链与推理模型
思维链(chain-of-thought)指让模型先写出中间推理步骤,再给答案。2022 年的论文发现,在提示里给出分步推理示例,能明显提升大模型在数学、常识推理等任务上的表现。后来不少模型把「先想再答」做进训练流程,也就是常说的推理模型。但推理不是万能的:步骤写得像模像样,结论仍可能错。涉及计算和事实,要自己复核。
8. 采样参数:温度与 top-p
模型每一步输出的是一个概率分布,解码策略决定怎么从里面挑词。温度越低,输出越确定、越保守;越高越发散。top-p 则只在累计概率最高的一部分候选里采样。Hugging Face 的生成文本指南对贪婪搜索、beam search、top-k、top-p 有清晰对比。要稳定格式就用低温度,要创意就适当调高。
四、它为什么会出错
9. 幻觉:流畅不等于正确
幻觉指模型生成了读起来合理、实际不实或没有依据的内容。原因不神秘:模型的目标是生成像样的下一个 token,而不是查证事实;训练数据里的错误和缺失也会被学进去。问题越具体、越冷门,越要警惕。
可操作:让它给出来源再核对;数字、日期、法条、引用逐条查;把「无法确认」当成正常输出,而不是失败。
10. Embedding 与 RAG:先查资料再回答
Embedding 把文本变成向量,语义相近的文本在向量空间里更接近,于是可以用相似度做检索。RAG(检索增强生成)就是先检索相关资料,再放进上下文让模型回答,2020 年的 RAG 论文提出了这个范式。它能缓解幻觉、让答案可追溯,但不能消除幻觉:检索错了、资料本身错了,答案照样错。
把 10 个概念用起来
| 概念 | 一句话理解 | 常见误解 |
|---|---|---|
| Token | 模型处理文本的最小单位 | 「字」和 token 一一对应 |
| 参数 | 训练中被调整的权重数字 | 参数越大一定越强 |
| 上下文窗口 | 单次请求能容纳的 token 上限 | 窗口越大,回答一定越好 |
| 温度 / top-p | 控制生成随机性的解码参数 | 温度 0 能保证每次都一样 |
| 幻觉 | 流畅但没有依据的生成内容 | 说得像真的就是真的 |
| RAG | 先检索资料再生成答案 | 用了 RAG 就不会乱说 |
上手清单:用 5 个问题判断一个 AI 产品
- 它说的「支持长文本」,指的是输入窗口、输出长度,还是输入输出总和?
- 它给的知识是训练进去的,还是实时检索的?后者能不能给出来源?
- 它有没有说明模型版本、知识截止时间和局限?没有的话,基本可以当营销页看。
- 相同输入能否稳定复现?温度和随机性有没有说明?
- 出错时它会不会承认不确定,还是继续自信地编?
这 5 个问题问完,通常比看十篇评测更快判断一个产品靠不靠谱。
概念不是拿来背的,是拿来在别人吹牛时,快速找到那个说不通的地方。
参考与延伸阅读
- Attention Is All You Need(arXiv 论文)
- Language Models are Few-Shot Learners(GPT-3 论文)
- Training language models to follow instructions with human feedback(InstructGPT 论文)
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- How to generate text: using different decoding methods for language generation(Hugging Face 博客)
外链内容由对应网站负责,访问以实际可用性为准。