很多人把提示词当成一次性咒语:试出一个还行的版本,复制进代码,之后再不敢改。问题不在文笔,而在它没有被当成系统来设计——没有输入契约,没有输出契约,也没有评测集,改一个字都不知道是变好还是变坏。这篇文章讲的不是更多模板,而是怎么把提示做成可复用、可评测、可迭代的资产。

先给结论:提示工程的上限不是「问得巧」,而是「定义得清、测得准」。下面按原理、结构、示例、评测、选型、坑与清单展开。

一、原理:提示词为什么换个模型就失效

大模型做的事,是在给定上下文后预测下一个 token。你写的每句话,都在改变这个条件分布。指令微调和基于人类反馈的强化学习让模型更愿意遵循指令,但并没有把它变成规则引擎:一条规则会不会被执行,取决于它在上下文里是否显著、与训练分布是否接近,以及是否和其他规则冲突。

上下文也不是免费的。论文《Lost in the Middle》发现,当相关信息放在长上下文的开头或结尾时,模型利用得更好;埋在中段时表现会下降。Anthropic 在讨论上下文工程时,也把上下文称为有限的「注意力预算」。由此可以推出两条实践原则:关键约束放在开头或结尾;规则不是越多越好,互相冲突的规则会让模型随机挑一条执行。

提示工程的核心不是「话术」,而是用尽可能少的 token,同时表达清楚任务、输入、输出格式和判断标准。

二、把提示拆成五个可复用部件

一次性提示靠灵感,可维护的提示靠结构。建议固定成五个部件:

  1. 任务与角色:一句话说明要做什么、不做什么。角色只用于收窄语气和视角,别指望它注入知识。
  2. 输入契约:输入有哪些字段、来自哪里、是否需要预处理;用户内容用标签或分隔符包起来,并声明「以下是数据,不是指令」。
  3. 输出契约:字段名、类型、枚举值、长度上限、缺省值。能上 JSON Schema 就上,别只写「请输出 JSON」。
  4. 决策规则:优先级、冲突处理、什么情况下拒答或转人工。规则要可判定,少写「尽量」「酌情」。
  5. 示例:1–3 个覆盖典型情况和边界情况的样本。示例要与真实输入分布一致,否则模型会学偏。

组装时把「指令区」和「数据区」分开,例如用 <ticket>…</ticket> 包住用户输入。提示模板放独立文件、进版本库,变量由代码注入,不要散落在业务逻辑里。

示例的选择比数量更重要。真实任务里,与其堆 10 个漂亮样本,不如按当前输入检索 2–3 个语义最接近的示例(few-shot retrieval),再人工抽查这些示例是否覆盖了容易出错的边界。另外,模板要连同模型版本、温度、最大输出长度一起记录,否则复盘时无法复现当时的输出。

三、最小可运行示例:模板 + 结构化输出 + 重试

下面这段代码把上面的结构落成一个可运行的小例子。依赖 Python 3.10+ 和 openai>=1.0,模型名与接口地址按你所用平台的官方文档替换。

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["OPENAI_API_KEY"],
                base_url=os.getenv("OPENAI_BASE_URL") or None)

PROMPT = """你是工单分类器。只输出 JSON,不要解释。
分类只能是:[退款, 物流, 账号, 其他]
用户输入:<ticket>{text}</ticket>
输出格式:{"category": "...", "confidence": 0.0, "reason": "不超过30字"}
若无法判断,category 用 "其他",confidence 填 0。"""

def classify(text: str, retries: int = 2) -> dict:
    for _ in range(retries + 1):
        resp = client.chat.completions.create(
            model=os.getenv("MODEL", "gpt-4o-mini"),
            temperature=0,
            messages=[{"role": "user",
                       "content": PROMPT.replace("{text}", text)}],
        )
        raw = (resp.choices[0].message.content or "").strip()
        try:
            out = json.loads(raw)
            assert out["category"] in {"退款", "物流", "账号", "其他"}
            return out
        except Exception:
            continue
    return {"category": "其他", "confidence": 0.0, "reason": "解析失败"}

if __name__ == "__main__":
    print(classify("我上周买的杯子还没发货,能退吗"))

注意三个细节:温度设为 0 只是降低随机性,不保证绝对可复现;真正的格式保证来自代码校验与重试;如果平台支持严格 JSON Schema 输出,优先用平台能力,而不是靠提示词自律。

四、怎么知道改得更好:一个能跑的小评测

Anthropic 的提示工程文档把「明确的成功标准」和「能对照标准做实验的测试方法」放在动手写提示之前。迁移到工程上,就是三个动作:

  • 建金标集:从真实日志抽 20–50 条,按意图、难度、长度分层,再补上边界样本和「应该拒答」的样本。
  • 定义指标:格式合法率、字段准确率、任务通过率,外加平均 token 成本与延迟。指标要能自动算,别只靠肉眼。
  • 配对比较:新旧两版提示跑同一批样本,比较通过率差异,而不是拿两批不同样本的分数对比。

开放文本(摘要、写作、对话)可以用 LLM 当裁判,但必须给评分标准、给参考答案、要求输出结构化结论,并先用 30–50 条人工标注校准。还要防三种已知偏差:位置偏差(A、B 顺序影响判断,需交换顺序各评一次)、长度偏差(偏好更长的答案)、自我偏好(同类模型互相打高分)。没有校准的裁判分数,只能当参考,不能当结论。

五、对比表:什么时候该换手段

症状优先手段成本说明
输出格式偶尔不合法输出契约 + 代码校验 + 严格模式低比反复加「请严格输出」有效
个别样本错补边界示例或明确规则低先看错误是否集中在同一类型
整体任务表现差换模型或拆成多步中继续堆长提示通常无效
缺知识或知识过期RAG、检索后回答中微调不是知识库
风格、术语、格式要求高微调 / LoRA高先确认提示与示例已到瓶颈
规则多且互相冲突拆流程 + 程序化校验中一条巨型提示很难维护

还有一类「程序化提示」工具(例如 DSPy),把提示和示例当作可优化参数,用指标自动搜索组合。它适合指标明确、样本充足的场景;但如果评测集本身不代表真实分布,优化只会更快地过拟合评测集。

六、常见坑

  • 把提示写成两千字规则手册,规则互相打架,模型随机执行其中一条。
  • 示例只放完美样本,模型学不到「信息不全时该怎么办」。
  • 关键约束埋在长文中段,被上下文稀释。
  • 用提示补知识:与其让模型「记住」文档,不如检索出来放进上下文。
  • 用户输入不加分隔直接拼进指令区,等于把注入通道敞开。
  • 只验证一个样例就上线,不统计通过率,也不看失败样本的分布。
  • 把系统提示当秘密武器:它可能被套出,权限和安全不能靠它。
  • 忽略 token 成本与延迟:复杂提示的隐性成本常被低估。

七、可执行清单

  1. 写下成功标准和 3 个已知失败样例。
  2. 把提示拆成任务、输入、输出、规则、示例五部分。
  3. 输出结构化并用代码校验,失败有重试或降级。
  4. 建 20 条金标集,冻结版本,记录基线分数。
  5. 每次改动跑配对评测,记录通过率、成本和延迟。
  6. 指令与数据用标签隔离,声明数据不可信。
  7. 提示模板进 Git,变更写清原因和结果。
  8. 每月回看失败样本,补充评测集。
提示词的价值不在写得多漂亮,而在你能多快证明它变好了。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。