「这个模型更强」「新提示效果更好」——这类判断如果没有评测支撑,大多只是印象。评测要回答的其实是一个很具体的问题:在我关心的任务上,这一版比上一版好还是差,差多少,这个差距是真实的还是噪声?

这篇不列 benchmark 榜单,而是讲怎么搭一个能支撑决策的小型评测:指标怎么定、手段怎么选、样本要多少、评测集怎么建、哪些坑最常见。

先说一个容易踩的坑:公开榜单衡量的是通用能力,你的产品要的是「在这 500 条真实工单上,能不能一次做对」。两者相关性有限,benchmark 分数高,不代表你的任务行。

一、核心原理:先定义「行」,再谈评测

没有成功标准的评测只会变成「看起来还不错」。先把指标拆成三层:

  • 质量:任务通过率、字段准确率、事实错误率。因任务而异,必须能自动或半自动计算。
  • 约束:格式合法率、拒答正确率、长度与风格符合度。这类指标最容易自动化,也最容易被忽略。
  • 工程:P50/P95 延迟、单次调用成本、超时与解析失败率。

然后写下门槛,例如「通过率不低于 90%,格式合法率不低于 99%,P95 延迟低于 3 秒」。门槛要在看到结果之前定,否则很容易事后合理化。

指标不是越多越好。选 3–5 个能直接支撑决策的作为主指标,其余作为诊断项。比如客服场景,主指标是「一次解决率」,诊断项是格式合法率、引用准确率、转人工率。主指标决定是否上线,诊断项决定往哪里改。

二、三种评测手段与它们的偏差

选择手段的原则很简单:能用确定性代码判断的,绝不用模型评。格式是否合法、字段是否齐全、引用是否存在,用正则和 schema 就能判;只有「答得好不好」这类开放判断,才需要裁判或人工。

手段成本可靠性适合
规则与自动指标低高(只测可形式化的部分)格式、分类、抽取、引用存在性
LLM 当裁判中中,存在系统性偏差开放问答、摘要、写作、对话
人工评估高高(小样本)校准裁判、边界案例、主观质量
公开 benchmark低低(与你的任务未必相关)了解通用能力,不用于选型决策

LLM 裁判有已知偏差:位置偏差(A/B 顺序影响判断)、长度偏差(偏好更长答案)、自我偏好(同类模型互评偏高)。对策是:交换顺序各评一次,使用成对比较,给清晰的评分标准与参考答案,并先用几十条人工标注验证裁判与人的一致率。裁判分数是工具,不是真理。

一个可用的裁判流程是:先按任务写 rubric(例如事实性 1–5 分、引用是否支持结论、完整性各一档),把用户问题、参考答案、待评答案一起给裁判,要求逐项打分并说明理由,最后输出 JSON。用 30–50 条人工标注算一致率,一致率低就改 rubric,而不是急着换模型。

三、从 20 条开始:样本量与置信区间

Anthropic 在总结多智能体系统的评测经验时提到,他们从约 20 条真实查询起步,就足以看出早期大幅改动的效果。小样本适合快速迭代,但不适合下精细结论:当通过率为 0.8 时,n=20 的 95% 置信区间大约 ±0.18,n=60 时大约 ±0.10。换句话说,两版提示相差 5 个百分点,在小样本上很可能是噪声。另外,如果样本来自高度相似的用户或场景,独立性不足,区间会被低估。

两个降低噪声的办法:一是做配对比较,让新旧两版跑同一批样本,比较逐题差异,方差通常小于比较两个独立平均值;二是先算置信区间再解读差异,不要只报一个点估计。Anthropic 与后续的统计评测研究都建议把评测当作实验来设计,报告不确定性和样本量。

样本量要按目标差异反推:想可靠地看出 10 个百分点的提升,n=60 往往够用;想看出 2–3 个百分点的差异,通常需要几百条样本。务实做法是:小样本快速筛掉明显更差的版本,大改动再用大样本确认。

小样本适合筛选方向,不适合证明微小提升。报告里写清样本量和置信区间,比争论「哪个模型更强」有用得多。

四、代码:bootstrap 置信区间与配对差

不依赖统计库,用重采样就能得到置信区间。依赖 Python 3.10+ 与 numpy>=1.24。

import numpy as np

def bootstrap_ci(hits, n_boot=10000, seed=0):
    rng = np.random.default_rng(seed)
    x = np.asarray(hits, dtype=float)
    means = np.array([rng.choice(x, size=len(x), replace=True).mean()
                      for _ in range(n_boot)])
    lo, hi = np.quantile(means, [0.025, 0.975])
    return x.mean(), lo, hi

def paired_diff(hits_old, hits_new, n_boot=10000, seed=0):
    rng = np.random.default_rng(seed)
    d = np.asarray(hits_new, dtype=float) - np.asarray(hits_old, dtype=float)
    boots = np.array([rng.choice(d, size=len(d), replace=True).mean()
                      for _ in range(n_boot)])
    return d.mean(), *np.quantile(boots, [0.025, 0.975])

old = [1,1,0,1,0,1,1,1,0,1] * 6   # 60 条中 42 条通过
new = [1,0,1,1,1,1,1,0,1,1] * 6   # 60 条中 48 条通过
print("旧版:", bootstrap_ci(old))
print("新版:", bootstrap_ci(new))
print("配对差(新版-旧版):", paired_diff(old, new))

读结果时先看配对差的区间是否跨过 0:跨过 0,就不能说新版更好;不跨 0,再看提升幅度是否值得增加的延迟和成本。

五、评测集怎么建

  • 来源真实:从线上日志抽样,不要自己编题。编出来的题往往比真实输入更干净。
  • 分层覆盖:按意图、难度、长度、语言分层,保证长尾场景有样本。
  • 包含负样本:应该有「答案不在资料里」「应该拒答」「应该追问」的样本,否则系统会学会硬编。
  • 冻结版本:评测集有版本号,需求变化才更新;每次改动记录原因。
  • 覆盖形态:单轮、多轮、长上下文都要有样本,很多问题只在第二轮或长文档中间才暴露。
  • 污染检查:公开 benchmark 可能进了训练数据;自己的评测集也不要泄漏给模型供应商。

标注流程也要固定:两个人先独立标 20 条算一致性,分歧超过阈值就先统一标准;标注界面只给必要信息,避免看到模型名产生偏见;每条样本记录来源、时间和标注人,出错时能追溯。

六、常见坑

  • 只看平均分,忽略长尾和致命错误类型。
  • 单次跑分就下结论,不报样本量、不报区间。
  • LLM 裁判没有评分标准,或用同一个模型评自己。
  • 评测集太小、太旧、太干净,和线上分布脱节。
  • 拿公开 benchmark 分数直接做产品选型。
  • 用训练数据当测试集,分数虚高。
  • 只测质量,不测延迟、成本和失败率。
  • 把「应该拒答」的样本算成答错,或反过来排除掉,导致指标失真。
  • 评测频率太低,改动累积几次才跑一遍,无法定位是哪次改坏。
  • 改了多次提示后只展示最好那次,不记录全部尝试。

七、可执行清单

  1. 写下任务指标、约束指标和工程指标各至少一个。
  2. 在看到结果前定好上线门槛。
  3. 建 20–50 条真实分层样本,冻结为 v1。
  4. 能用规则判定的全部自动化,别交给 LLM 裁判。
  5. 需要裁判时,给评分标准、参考答案和结构化输出。
  6. 用 30–50 条人工标注校准裁判,记录一致率。
  7. 每次改动做配对比较,报告均值与 95% 区间。
  8. 上线后把线上失败案例回流到评测集。
评测的价值不是给出一个分数,而是让你在改坏的时候,能第一时间知道。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。