做机器学习项目,最常见的失败不是模型选错,而是从一开始就答错了问题:标签定义含糊、验证集被污染、指标和业务目标相反,最后模型在 Notebook 里分数漂亮,上线后没人用。这篇文章按真实项目的推进顺序拆成六个阶段,说清每个阶段做什么、交付什么、最容易在哪里出事。

一、问题定义:把「做个 AI」翻译成可验收的目标

先写清三句话:预测什么、给谁用、错了会怎样。这三句写不出来,后面所有工作都是在赌博。

  • 决策:模型输出会触发什么动作?人工复核、自动拦截,还是只做提醒?没有下游动作的模型,通常不值得做。
  • 标签:标签由谁定义、多久能拿到、争议怎么裁决。两个标注员对同一条样本判断不一致,说明问题本身还没定义清楚。
  • 指标:离线指标只是代理,最终要落到业务量上,例如误拦率、人工节省时长、转化率。代理指标选错,模型会朝错误方向优化。
  • 约束:延迟、成本、可解释性、隐私。要求 50 毫秒内出结果,和允许离线批处理,是两种完全不同的方案。

再估一个「不做模型能做到什么」的基线:现有规则、人工流程,或者干脆全放行。这个数字决定了项目的天花板。如果规则已经覆盖九成场景,模型要赢的是剩下的一成,而不是平均分。

进入下一阶段的标准:能用一句话说清「这个模型上线后,哪个数字会变、变多少算成功」。

二、数据:上限在这里被决定

模型不会凭空知道对错,它只学到数据里的规律和噪声。数据阶段值得花掉整个项目一半的时间,主要盯四件事。

  • 来源与代表性:样本从哪来、覆盖哪些人群和场景、缺了哪一块。线上流量的分布和标注数据的分布往往不同,这是上线后掉点的头号原因。
  • 标签质量:抽查标签、计算标注一致性、给疑难样本建立裁决规则。标签噪声会直接变成模型的上限,再复杂的结构也补不回来。
  • 特征可得性:训练时能拿到的特征,线上推理时是否也能在同一时刻拿到。用事后才产生的字段做特征,是最隐蔽的作弊。
  • 切分方式:训练集、验证集、测试集怎么分,必须和上线后的使用方式一致。

数据泄漏是这一阶段最容易犯、也最难发现的错误,常见四种:

  1. 目标泄漏:特征里包含了标签的结果,例如用「是否已赔付」预测「是否出险」。
  2. 预处理泄漏:先在全部数据上做标准化或特征筛选,再切分训练集和测试集,测试集信息漏进了训练。
  3. 分组泄漏:同一个用户、同一名患者、同一台设备的样本被随机分到两边,模型记住的是个体而不是规律。
  4. 时间泄漏:用未来数据预测过去,时间序列必须按时间切分。

判断方法:如果某个特征让指标突然好得不真实,先怀疑泄漏,再庆祝。

三、切分与基线:先证明这件事值得做

推荐顺序:先固定一份测试集并封存,只在最后验收时用;再从训练集里切出验证集做迭代;最后才谈模型选择。

基线按成本从低到高排:

  1. 多数类或均值:分类全预测多数类,回归全预测均值,这是任何模型都必须超过的下限。
  2. 业务规则:几条 if-else 往往能拿到不差的分数,也是上线时更安全的兜底。
  3. 简单模型:逻辑回归、线性回归、单棵决策树,先看特征本身有没有信号。
  4. 现成方案:直接用预训练模型或开源模型,能省掉大量训练工作。

每一步都记下「改了什么、指标怎么变、为什么」。这份记录比模型本身更有价值,因为它是你判断下一次改动的依据。

四、迭代:用误差分析决定下一步

指标只告诉你「变好或变坏」,不告诉你「为什么」。下一步该做什么,从错例里找。

  1. 从验证集随机抽 50 到 100 条错例,逐条看输入、预测和真实标签。
  2. 给错误归类,例如「否定句理解错」「数字单位混淆」「标注本身错了」「样本太模糊」。
  3. 按占比排序,优先解决最大的一类。通常一两类错误就占了大部分损失。
  4. 一次只改一个变量,改完在同一份验证集上复测;不要同时换特征、换模型、换阈值。

如果错例里有一半是标注错误,说明该回去修数据,而不是继续调模型。如果错误集中在某一类输入,考虑补数据或单独加规则,而不是把整个网络换掉。

五、上线:模型只是系统的一小部分

Sculley 等人在《Hidden Technical Debt in Machine Learning Systems》里指出:真实系统里,模型代码只占很小一部分,周围是数据采集、特征管道、配置、监控和运维。上线要解决的是这些「胶水」问题。

  • 训练与推理一致:同一套特征计算逻辑,不能训练用 A 版本、线上用 B 版本。这是「离线 95 分、线上 70 分」的常见原因。
  • 灰度与回滚:先小流量放量,准备好一键切回规则或旧模型。
  • 监控:监控输入分布、预测分布、延迟和业务指标。输入分布变了,模型可能悄悄失效。
  • 反馈回路:模型决定给谁看什么,用户行为又变成新训练数据,偏差会被放大,需要留一份随机对照流量。

一个可复用的交付物清单:

阶段关键问题交付物
问题定义决策、指标、约束是什么一页目标说明与验收标准
数据标签可靠吗,切分正确吗数据字典、切分脚本、泄漏检查记录
基线不做模型能到多少规则或简单模型的基线与指标
迭代错在哪,改了什么实验记录、误差分析笔记
上线一致性、监控、回滚推理服务、监控面板、回滚预案

六、常见坑:五个真实事故

  1. 指标漂亮但没用:优化了离线 AUC,业务要的是高召回,两件事并不等价。
  2. 泄漏导致虚假提升:指标异常好时先查泄漏,别急着写总结。
  3. 只做离线评估:没有线上小流量验证,等于没验证。
  4. 忽略数据漂移:季节、渠道、用户结构一变,模型就过期,需要定期重训和监控。
  5. 没有负责人:模型上线后没人维护,是最常见的技术债。

七、练习清单:用一个小项目走完全程

  1. 选一个你熟悉的业务问题,写一段话说明决策、标签、指标和约束,并让同事挑毛病。
  2. 找一份公开数据,按时间或按组切分,写脚本证明测试集没有参与任何预处理。
  3. 做一个多数类或均值基线,再做一个逻辑回归基线,记录两者指标。
  4. 从错例里抽 30 条手工归类,写出错误类型分布。
  5. 只改一个变量(加特征、换模型、调阈值任选其一),记录指标变化。
  6. 写下上线后要监控的三个数字,以及触发回滚的条件。

机器学习项目的分水岭,不是模型有多复杂,而是你能不能说清每一次改动的理由,以及上线后怎么知道它还活着。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。