RAG 与知识库
让模型回答「它没记住」的事,而且答得有出处
RAG(Retrieval-Augmented Generation,检索增强生成)在模型回答之前,先从外部知识库里检索相关片段,拼接进上下文再生成。它把「模型记住了什么」与「系统能查到什么」解耦,让私有文档、时效信息和可溯源引用成为可能,是目前企业落地最广的 LLM 架构之一。
为什么不能只靠长上下文
上下文窗口已经扩展到十万 Token 级别,但把整本手册塞进提示词依然昂贵,而且模型对长上下文中部信息的利用并不稳定。检索的价值在于只给模型相关的那几段,同时带来引用来源、权限过滤和知识更新的能力。换句话说,RAG 首先是一个信息检索系统,其次才是生成系统。它的核心假设是:模型不必记住所有知识,只要能读到正确的材料。
一条完整的链路
一条完整的 RAG 链路包含四步,每一步都可以单独评估,不要跳过任何一步。
- 解析:PDF、表格、网页的解析质量,往往比换模型更影响最终结果。
- 切分与索引:按语义切分 chunk,配合 embedding 与向量库,保留标题、页码等元数据。
- 检索:向量检索加 BM25 混合召回,再用 reranker 精排;查询改写能明显改善口语化提问。
- 生成与评测:要求模型标注引用来源,用固定问题集衡量召回率与忠实度。
学习顺序与误区
先用一百篇文档搭一个能跑通的最小系统,再逐项替换组件,每次改动都跑同一套评测。遇到效果瓶颈时,先确认检索有没有召回正确片段,而不是急着换更大的模型。切分策略、混合检索和 rerank,通常比更换生成模型带来的收益更直接。如果没有评测集,就先人工标注三十到五十个问题,作为后续所有改动的基准。
知识库不是一次性工程。文档更新、索引重建和权限变更,都要在系统设计时就留好位置。小团队最容易忽略的是解析环节,一份排版复杂的 PDF 就能让召回率大幅下降。
这个专题要回答的问题
- RAG 和把文档直接塞进长上下文,哪个更好?
- chunk 应该切多大?重叠多少合适?
- 向量检索效果差,应该换 embedding 模型还是加 rerank?
- 用户问题很口语化,检索不到怎么办?
- 怎么评估一个 RAG 系统到底好不好?
- 知识库更新后,索引要怎么维护?
精选资源
RAG 的奠基工作,理解检索器与生成器如何配合。
数据接入、索引与检索的完整工程参考。
系统梳理 RAG 的检索、增强与生成三条技术路线。
选 embedding 模型前,先看真实检索任务上的表现。
RAG 评测框架,覆盖忠实度、答案相关性与上下文召回。
通过上下文增强切分提升检索效果,附有对比实验。
相关文章
RAG 实战指南:切分、检索、重排与评测,一次讲清
RAG 的瓶颈常不在模型而在管线。本文按切分、检索、重排、评测四层拆解,说明混合检索与语境化切分的取舍,附最小可运行脚本、分层归因方法和选型决策表,帮你在自己的数据上定位问题。
AI 辅助科研与检索:工具、方法与“别被幻觉骗”
AI 能加速找文献、读论文、整理综述,但它会编造引用、张冠李戴。本文给出检索到写作的工具地图、四步验证流程与查证清单,让 AI 真正省时间,而不是制造返工。
在自己电脑上跑大模型:Ollama、LM Studio、llama.cpp 怎么选
本地跑大模型不只是装软件,显存、量化、上下文都会限制体验。对比 Ollama、LM Studio、llama.cpp 的定位与边界,给出硬件搭配、上手步骤与常见坑,帮你按用途做选择。
大模型幻觉:来源、检测与工程上的缓解手段
幻觉不是某个模型的偶发 bug,而是训练目标与评估激励的副作用。本文拆解幻觉的来源与类型,给出采样一致性、证据核对、引用校验等检测方法,以及按链路分层的缓解手段和校验代码。