模型编造内容时往往语气笃定,这让幻觉比一句「我不知道」危险得多。更麻烦的是,幻觉不是某个模型的偶发 bug,而是训练目标与评估激励共同作用的结果。理解来源,才知道哪些手段是治标、哪些能治本。
一、核心原理:为什么模型会自信地编
语言模型的训练目标是预测下一个 token,而不是查证事实。只要生成的文本在统计上「像」正确答案,它就有动力写下去。流畅、结构完整、语气确定,这些恰恰是模型擅长的,也正是幻觉最难被肉眼识别的部分。
OpenAI 在 2025 年的一篇研究里给了一个更具体的解释:标准训练与评估流程鼓励猜测,而不是承认不确定。如果只用准确率评分,模型对不会的题猜一个答案还有概率得分,说「不知道」则必然零分。长期在这样的激励下,模型自然倾向于编一个看起来合理的答案。
其他来源还包括:训练数据缺失、冲突或过时;知识截止日期之后的事情;上下文里没有给证据;证据在长上下文的中间位置被忽略;解码时的随机性;以及后训练让模型更倾向给出「有帮助」的回答,而不是承认无知。
按表现可以分成几类:事实性错误(人物、数字、日期)、张冠李戴(把 A 的属性安到 B 身上)、编造引用(论文、链接、法条)、时间错位(把旧政策当现行政策)、推理断裂(中间步骤看似合理,结论错误)。不同类型要用不同的检测手段。
二、检测:三种可落地的检查
- 采样一致性:同一个问题让模型采样多次,如果某句事实陈述在不同样本间互相矛盾,就标为可疑。SelfCheckGPT 这类方法不需要外部知识库,适合黑盒模型;代价是要多花几倍调用,而且发现不了模型「每次都稳定说错」的共同错误。
- 证据核对:把答案拆成一条条 claim,逐条检索证据,判断「支持、矛盾、无依据」。可以用 NLI 模型,也可以让另一个模型对照证据打分。关键是证据本身要可信,且必须真的检索,而不是让模型凭记忆判断。
- 引用校验:要求答案必须带引用,再检查引用是否存在、原文是否支持结论,尤其是数字、日期、实体名这些可精确比对的部分。成本低,能拦住大部分「编造来源」的幻觉。
模型自评和置信度只能当辅助信号。模型说「我很确定」并不代表它是对的;校准良好的置信度才有参考价值,而多数通用模型并不天然校准。高风险场景仍要保留人工抽检,甚至全量复核。
三、缓解:按链路分层
输入层:把与问题相关的证据放进上下文,而不是让模型凭参数记忆回答;信息不足时先追问或澄清;对冷门、时效性强的问题强制走检索。
生成层:在系统提示里明确允许「不知道」;要求每个结论附引用;用结构化输出把「答案」和「依据」分开;对关键任务使用逐步验证(例如 CoVe:先写草稿,再生成验证问题,独立回答后再修订)。
后处理层:对 claims 做证据核对,对数字、单位、日期做规则校验,对引用做存在性与支持性检查;校验失败时降级处理——转人工、返回检索结果,或明确告知无法确认。
运营层:评测集里单独统计幻觉率,而不是只看总体通过率;把线上反馈回流到测试集;对高风险主题做专项监控。这些动作决定系统能不能长期变好,而不是只在演示时好看。
目标不是把幻觉降到零——那做不到,也不该作为验收标准。工程上更现实的目标是:降低发生概率,并让发生了的错误能被及时发现和拦截。
四、代码:引用与数字校验
下面是一个成本很低的兜底检查:答案里的每条引用必须存在于检索结果,且引用结论中的数字必须能在原文找到。依赖 Python 3.10+,只用标准库。
import re
docs = {
"doc-1": "退款需在签收后 7 天内申请,逾期不予受理。",
"doc-2": "会员积分有效期为 12 个月。",
}
answer = "退款期限是签收后 7 天 [doc-1];积分有效期 24 个月 [doc-2]。"
def check(answer, docs):
problems = []
for claim, cid in re.findall(r"([^。!?;\n]*?)\[(doc-\d+)\]", answer):
if cid not in docs:
problems.append(f"引用不存在:{cid}")
continue
for num in re.findall(r"\d+", claim):
if num not in docs[cid]:
problems.append(f"{cid} 未支持数字 {num}:{claim.strip()}")
return problems or ["通过"]
print(check(answer, docs))
这段代码能抓出「引用编号不存在」和「数字对不上」两类问题,但抓不出语义层面的曲解。它适合放在生成之后、返回用户之前,作为一道便宜且确定性的闸门;语义核对仍要交给检索加裁判或人工。
五、对比表:手段能做什么,不能做什么
| 手段 | 主要作用 | 成本 | 局限 |
|---|---|---|---|
| RAG + 强制引用 | 补知识、让答案可追溯 | 中 | 检索错、资料错时仍会幻觉 |
| 采样一致性 | 发现编造与不稳定陈述 | k 倍调用 | 模型稳定相信的错误检测不到 |
| CoVe 逐步验证 | 减少部分事实与推理错误 | 多次调用 | 依赖模型自身知识 |
| LLM 裁判核对 | 开放文本的证据一致性 | 中 | 裁判也会错,需要校准 |
| 拒答策略 | 高风险场景兜底 | 低 | 损失可用性,可能过度拒答 |
| 人工抽检 | 发现自动化漏掉的错误 | 高 | 无法全量,覆盖有限 |
六、常见坑
- 以为把温度设为 0 就没有幻觉:确定性输出同样可能稳定地错。
- 以为上了 RAG 就不会编:检索错、资料本身错、模型无视证据,都会继续产生幻觉。
- 只让模型「再检查一遍」:没有外部证据时,自我检查常常只是重复原来的错误。
- 只测常见问题,不测冷门、时效性和无答案场景。
- 提示或训练激励模型「自信、有帮助」,等于鼓励它少说不知道。
- 把拒答和答错混在一起统计,无法判断系统是更保守还是更准确。
- 往上下文里塞太多资料,关键证据反而被稀释。
- 没有把线上发现的错误样例补进评测集,同类问题反复出现。
七、可执行清单
- 列出你的高风险事实类型:数字、日期、法条、人名、引用。
- 在系统提示里写清「证据不足时说不知道」的判断标准。
- 对需要事实的问题强制检索,并要求答案带引用。
- 上线前实现引用存在性与数字一致性校验。
- 对关键任务加一次独立的证据核对或逐步验证。
- 评测集里加入无答案、冷门和时效性问题,单独统计幻觉率。
- 校验失败时明确降级:转人工、给检索结果或拒绝回答。
- 把线上错误样例定期补进评测集,形成闭环。
幻觉无法被承诺消灭,但可以被设计成「容易被发现」。
参考与延伸阅读
- Why language models hallucinate(OpenAI)
- Survey of Hallucination in Natural Language Generation(arXiv)
- SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection(arXiv)
- Chain-of-Verification Reduces Hallucination in Large Language Models(arXiv)
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(arXiv)
外链内容由对应网站负责,访问以实际可用性为准。