PATH 03中级(会 Python、用过 API)4–8 周(每天 1.5–2 小时)

大模型与 Agent

把模型当操作系统:提示、工具、记忆、评测四件套

顺序的理由是:先摸清模型,再控制它,最后验证它。第 1 周用 API 把 token、上下文、采样参数、费用这些工程量摸熟,知道模型能做什么、不能做什么;第 2–3 周练 Prompt 与结构化输出,这是所有上层能力的地基——输出不稳定,后面的 RAG 和工具调用都会崩;第 4 周补 RAG,让模型能回答私有知识并给出引用;第 5–6 周接工具与 MCP,把「会回答」升级成「会做事」;最后两阶段用评测收口,因为没有被量化的 Agent 只能算 Demo。每天 1.5–2 小时,每个阶段都有可运行的小交付,前一个阶段的产物直接成为下一个阶段的素材。学完你能独立设计并上线一个带评测的 Agent 应用,也能判断什么时候该用固定工作流而不是自治 Agent。

1

先摸清模型:能力、成本与边界

第 1 周

目标:

  • 理解 token、上下文窗口、采样参数与推理模型之间的取舍
  • 能实现带重试、超时、限流与费用统计的 API 封装
  • 能判断一个需求该用 Prompt、RAG 还是微调
  • 能识别幻觉、越权与提示注入三类风险

重点内容:

  • tokenization 与上下文管理
  • temperature / top_p / 停止条件
  • 推理模型与思维链
  • 幻觉的成因与检测
  • 成本、延迟与吞吐的三角
  • API 工程化:重试、超时、降级
动手:写一个「模型探针」脚本:同一任务用 3 组模型或参数组合各跑 20 次,输出延迟、token、费用与人工评分对比表。
过关:对比表可复现;能说出至少 2 个不该用 LLM 的任务及理由;成本估算与实际账单误差小于 15%。
2

Prompt 与上下文工程

第 2 周

目标:

  • 掌握角色设定、约束、few-shot、分步推理、输出格式等提示模式
  • 能维护 Prompt 的版本与测试集,做 A/B 对比
  • 理解上下文工程:放什么、放多少、按什么顺序放
  • 能防御常见的提示注入与越权指令

重点内容:

  • 指令结构与分隔符
  • few-shot 示例选择
  • CoT、自洽性与反思
  • 提示注入与防御
  • 上下文压缩、排序与缓存
动手:挑一个真实任务(如客服 FAQ 或商品标题生成),写 v1 到 v3 三版 Prompt,在 20 条自建测试集上对比通过率。
过关:v3 通过率比 v1 提升 20% 以上;有版本记录与失败案例库;Prompt 能被同事直接复用。
3

结构化输出与函数调用

第 3 周

目标:

  • 能用 JSON Schema 与结构化输出约束模型返回格式
  • 会为校验失败设计自动修复循环
  • 掌握 function calling 的协议、并行调用与错误回传
  • 能把模型输出安全接入真实业务逻辑(幂等、白名单)

重点内容:

  • JSON Schema 与 Pydantic 建模
  • 结构化输出与 JSON 模式
  • 工具与函数调用协议
  • 校验失败与 repair 策略
  • 幂等、重试与权限边界
动手:做一个「简历或发票信息抽取」小工具:输入文本,输出严格 JSON,字段缺失时自动追问或重试,并把结果写入 SQLite。
过关:50 条真实样本字段级准确率达到 90%;schema 校验失败率低于 2%;异常输入不会让程序崩溃。
4

RAG:让模型回答私有知识

第 3–4 周

目标:

  • 理解 RAG 全链路:切分、向量化、检索、重排、生成、引用
  • 能为自己的文档集选择合适的分块与检索策略
  • 会建检索评测集,量化命中率与召回率
  • 能处理增量更新、权限过滤与引用溯源

重点内容:

  • 文档解析与分块策略
  • embedding 模型与向量库
  • 混合检索与 rerank
  • 引用、溯源与拒答
  • RAG 评测指标与常见失败模式
动手:用 200 页以上的自有文档(手册、笔记或论文)搭一个带引用的问答系统,并建 30 条评测集。
过关:引用命中率达到 80%;对无答案问题能合理拒答;有「纯模型 vs RAG」的对比数据。
5

工具调用与 Agent 编排

第 5–6 周

目标:

  • 能让模型自主规划并调用多个工具完成闭环任务
  • 会在 ReAct、Plan-Execute 与固定工作流之间做取舍
  • 能用 MCP 标准接入外部工具与数据源
  • 能处理长任务的状态、人工确认与失败恢复

重点内容:

  • ReAct 与 reasoning-action 循环
  • 工具设计:命名、描述、参数与错误
  • 多工具编排与依赖
  • MCP 协议与 server
  • 记忆、状态与人在环
  • 成本与步数上限
动手:做一个个人助理 Agent:查资料(搜索加本地 RAG)、写文件(沙箱目录),涉及外部动作时请求人工确认,全程记录轨迹。
过关:10 个真实任务中至少 7 个端到端完成;每步有工具入参、出参与耗时日志;有人工确认与中断恢复机制。
6

评测与上线:让 Agent 可被度量

第 6–8 周

目标:

  • 能建立任务级评测集与自动评分器(规则加 LLM-as-judge)
  • 会做回归测试、线上采样与失败归因
  • 能平衡成功率、延迟与成本三个指标
  • 能完成一次小规模灰度上线并基于数据迭代

重点内容:

  • 评测集构建与标注
  • 规则评分与 LLM-as-judge 的偏差
  • 轨迹评估与最终结果评估
  • 回归测试与灰度发布
  • 监控、日志与用户反馈闭环
  • 安全评估与红队
动手:给前面的 Agent 建 50 条任务评测集、自动评分与简单看板,跑两轮迭代并写改进报告。
过关:成功率可量化提升且记录每次改动;每次改动有回归结果;失败能按检索、工具、提示、模型四类归因。

常见坑

  • 用 Prompt 硬扛事实性问题,不用 RAG,导致幻觉频发
  • 工具描述含糊、参数设计反人类,模型误调用后却归咎于模型
  • 没有评测集就上线,改动全凭感觉
  • 只学框架 API,不理解协议与状态机,换框架就得重来
  • 忽视提示注入与工具权限,把写操作暴露给不可信输入
RELATED

相关文章

全部文章 →