「要不要微调」是 AI 应用里最容易被带偏的问题之一。有人拿微调当知识库,往里灌产品文档;有人明明只要改一句提示,却先租了 GPU;也有人把 LoRA 当成万能加速键,训完发现线上没变好。问题通常不在技术,而在没分清每种手段到底改变模型的什么。
先给结论:微调擅长改变「怎么做」,RAG 擅长补充「知道什么」。两者不是替代关系,而是不同层的问题。
一、先分清三种改变模型行为的方式
- 提示与上下文:不改权重,改的是这次推理看到的内容。最快、最便宜,适合规则明确、事实可以现给的任务。
- RAG:不改权重,把外部文档检索后放进上下文。适合私有知识、频繁更新、需要引用来源的任务。
- 微调:改权重,让模型把某种输入输出映射「练」进参数。适合稳定格式、领域话术、特定任务模式,以及用小模型替代大模型的成本优化。
微调内部还要再分一层:全参微调更新所有权重,显存和算力开销大,数据少时容易过拟合与灾难性遗忘;参数高效微调(PEFT)只训练一小部分参数,LoRA、QLoRA 都属于这一类,是当前个人和小团队更现实的选择。
三种手段也可以叠加:常见组合是「RAG 提供事实 + 微调小模型稳定格式与话术 + 提示控制当次任务」。真正要避免的是用错层——把知识塞进权重,或把格式要求寄托在检索上。
判断顺序建议:先问「提示能不能解决」,再问「检索能不能解决」,最后才问「微调能不能解决」。反过来做,通常多花几周时间换来一个更差的结果。
二、原理:LoRA 与 QLoRA 省在哪
全参微调时,显存不只放权重,还要放梯度、优化器状态和激活值。以 Adam 为例,优化器要为每个参数保存两份状态,训练显存常是模型权重的数倍。这就是为什么「模型能加载」和「模型能训练」是两回事。
LoRA 的做法是冻结原权重 W,只学习一个低秩增量 ΔW = B·A,其中 r 远小于原矩阵维度。训练时只更新 A、B,推理时可以把增量合并回 W,不增加推理延迟。LoRA 论文在 GPT-3 175B 上报告:可训练参数减少约 10,000 倍,GPU 显存需求降低约 3 倍,效果与全参微调相当或更好。这些是论文设定下的结论,换模型和任务仍需自己验证。
QLoRA 在 LoRA 基础上把基座量化为 4-bit(NF4),再加双量化和分页优化器,进一步压低显存。QLoRA 论文报告可在单张 48GB GPU 上微调 65B 模型,并保持 16-bit 微调的效果。实践中更常听到的是「单卡 24GB 训 7B/8B」,是否能跑通取决于序列长度、batch size、梯度累积和是否开启梯度检查点,必须按自己的配置实测显存。
三、决策表:微调、LoRA、RAG 怎么选
| 你的需求 | 首选 | 说明 |
|---|---|---|
| 知识频繁更新,答案要引用来源 | RAG | 更新索引即可,不必重训 |
| 固定输出格式、术语、口吻 | LoRA / SFT | 格式与风格是微调的强项 |
| 分类、抽取、改写等任务模式 | SFT(LoRA 起步) | 有几百到几千条标注样本更稳 |
| 数据不能出内网 | 本地 LoRA + 本地 RAG | 先确认模型许可证 |
| 只有几十条样本 | few-shot + 评测 | 数据量不足时微调风险很高 |
| 想把大模型换成小模型降本 | 蒸馏 + LoRA | 先验证小模型的下限 |
| 复杂推理、多跳问答 | 更强基座 + RAG/工具 | 微调带来的提升通常有限 |
| 多轮工具调用策略 | 先做工作流与评测 | 需要轨迹数据,失败成本高 |
一项常被引用的对比研究(Ovadia 等,2023)在知识密集型任务上比较了无监督微调与 RAG,结论是 RAG 在注入新知识和更新已有知识上都更稳定;微调则更适合学习任务形式与输出模式。这也解释了为什么「用微调让模型记住公司文档」大多会失望:模型学到了语气,却没记住事实。
四、最小实践路径(含 LoRA 代码)
- 定义任务与指标:不是「效果更好」,而是字段准确率、任务通过率、格式合法率。上线门槛提前写死。
- 先做 baseline:用提示 + RAG 跑一遍同一评测集,记录分数。没有 baseline 的微调结果没有意义。
- 准备数据:通常几十到几千条高质量样本即可起步;输入输出成对、覆盖边界、去重;按时间或来源划分训练/验证/测试,避免同源泄漏。
- 选基座与方式:显存有限先 QLoRA;先小模型验证流程,再上更大的基座。
- 训练:LoRA 常见起点是 r=8–16、alpha 取 2r、学习率 1e-4 到 2e-4、1–3 个 epoch;这些只是起点,不是最优值。
- 评测:在同一测试集上与 baseline 配对比较,按错误类型切片看,而不是只看总分。
- 部署:adapter 单独加载或合并进基座;上线后监控输入分布漂移和失败率。
# 依赖:transformers>=4.40, peft>=0.10, accelerate
# 显存不足时改用 4bit 加载(bitsandbytes),即 QLoRA 路线
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model
name = "Qwen/Qwen2.5-1.5B-Instruct" # 换成你要微调的基座
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, device_map="auto")
cfg = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
task_type="CAUSAL_LM",
)
model = get_peft_model(model, cfg)
model.print_trainable_parameters()
注意 target_modules 的名称随模型结构不同而不同,先用 model.named_modules() 确认;训练循环建议用 TRL 的 SFTTrainer,具体参数以官方文档为准。显存不够时依次尝试:缩短序列长度、减小 batch、开梯度累积、开梯度检查点、降低 LoRA 覆盖层数。
五、评测与回归:别只看训练 loss
训练 loss 下降只说明模型更会拟合训练数据,不说明任务变好。至少做三件事:
- 配对比较:微调模型与 baseline 在同一测试集上逐题比较,报告通过率和失败类型。
- 能力回归:留一小批通用任务(指令遵循、格式、常识)检测灾难性遗忘。
- 数据审计:测试集有没有混进训练数据;训练数据是否由模型生成且未经审核;是否存在重复样本。
还要把「答错」和「拒答」分开统计。微调后的模型可能变得更保守,通过率没降但覆盖率掉了;也可能相反,什么都敢答。两类错误要各自看比例,再决定是否上线。
六、常见坑
- 把微调当知识库,文档更新后模型还停在旧版本。
- 数据质量差:模板化严重、答案由模型生成未审核、标签不一致。
- 训练集和测试集同源,分数虚高,上线即翻车。
- 只调 r 和 epoch,不检查数据与评测集。
- 用全参微调跑小数据,过拟合且遗忘通用能力。
- 忽略模型许可证与数据合规,尤其是商用场景。
- 上线后不监控,输入分布一变,效果悄悄退化。
- 把「单卡能跑」当成「效果够用」,没有和 baseline 对比。
七、可执行清单
- 写下任务指标和上线门槛,先跑 prompt + RAG 的 baseline。
- 收集 100–1000 条真实、成对、去重的样本。
- 按来源或时间切分训练/验证/测试,避免泄漏。
- 先用 LoRA 小规模验证流程,再决定是否扩大。
- 记录基座版本、数据版本、超参和随机种子。
- 在同一测试集上做配对评测,并按错误类型切片。
- 加入 50–100 条通用能力样本做回归。
- 上线后监控失败率和分布漂移,保留回滚版本。
先把评测做对,再决定要不要微调。顺序反了,训练越久,错得越贵。
参考与延伸阅读
- LoRA: Low-Rank Adaptation of Large Language Models(arXiv)
- QLoRA: Efficient Finetuning of Quantized LLMs(arXiv)
- PEFT 官方文档(Hugging Face)
- Fine-tuning 指南(OpenAI 平台文档)
- Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs(arXiv)
- TRL 官方文档(Hugging Face)
外链内容由对应网站负责,访问以实际可用性为准。