很多人以为 NLP 是一个任务,其实它是一组输出形态完全不同的任务:有的输出一个标签,有的输出每个词的标签,有的输出一整段文本,有的输出一个排序列表。形态选错,模型、损失和指标会全部跟着错。这篇文章给一张任务全景图,并说清每类任务的关键细节。

一、先认清四类任务形态

  • 分类:输入一段文本,输出一个标签。情感分析、意图识别、主题分类、垃圾内容检测都属于这一类。句子对任务(判断两句话是否矛盾、是否相似)也可以做成分类或回归。
  • 序列标注与抽取:给每个 token 打标签,或者从文本中抽出片段。词性标注、命名实体识别、关键词抽取、信息抽取是典型代表。
  • 生成:输入一段文本,输出另一段文本。机器翻译、摘要、对话、改写、纠错都属于这一类。
  • 检索与排序:给定查询,从候选集合里找出并排序最相关的文档或段落。语义搜索、RAG 的召回阶段、推荐系统都依赖它。

任务形态决定了四件事:模型结构、损失函数、标注方式和评估指标。

任务形态输出典型结构常用指标
分类一个类别或概率编码器 + 分类头准确率、F1、AUC
序列标注每个 token 一个标签编码器 + token 分类头实体级精确率、召回率、F1
生成一段文本编码器-解码器或仅解码器BLEU、ROUGE、人工评估
检索候选排序双塔编码器recall@k、MRR、nDCG

先确认任务形态,再选模型。把检索做成生成、把抽取做成分类,是最常见的返工原因。

二、文本怎么变成输入:分词与子词

模型不认识字,只认识整数编号。分词器负责把文本切成 token 并映射成编号。三种粒度各有问题:

  • 词级:按空格或分词切,词表会很大,未登录词无法处理。
  • 字符级:词表小,但序列变长,单个字符携带的语义弱。
  • 子词级:当前主流。BPE、WordPiece、SentencePiece 这类算法把高频片段合成一个 token,低频词拆成几个子词,兼顾词表大小和未登录词。

几个容易出错的地方:分词器必须与预训练模型完全一致,不能拿 A 模型的词表配 B 模型;中文既可以按字也可以按子词,按字更稳但序列更长;特殊 token(如句首、分隔、填充)的位置和截断策略会影响结果;大小写、全半角、标点是否规范化,训练和推理要保持一致。

另外要区分两种表示:word2vec、GloVe 这类静态词向量给每个词一个固定向量,无法处理一词多义;BERT 这类上下文编码器会随句子变化生成不同表示,这是后来预训练模型全面替代静态词向量的原因。

三、四类任务怎么建模

分类:在编码器输出上加一个池化向量(常用句首 token 的表示),接线性层和 softmax,用交叉熵训练。小数据上先微调预训练模型,通常比从头训练稳。

序列标注:每个 token 的输出接分类头,预测它属于哪个标签。损失是 token 级交叉熵,但评估必须按实体算,因为业务关心的是「这个实体有没有抽对」,而不是「token 对对了多少」。

生成:序列到序列。训练时把目标文本的整体作为监督信号,用交叉熵;推理时逐 token 生成,可选贪心、束搜索或采样。评估比分类复杂得多,后面单独说。

检索:用双塔结构分别编码查询和文档,算向量相似度(内积或余弦),用对比学习训练,让相关对更近、无关对更远。检索质量决定 RAG 的上限,因为生成模型只能基于召回的片段回答。

抽取式问答可以看成特殊的序列标注:预测答案在原文中的起始和结束位置,指标用精确匹配和片段级 F1。

四、序列标注:BIO 与边界问题

最常用的标签体系是 BIO:B 表示实体开始,I 表示实体内部,O 表示非实体。也可以扩展成 BIOES,把结束位置单独标出来,边界更清楚。

一个标准的流程是:定义标签集和标注规范;标注一批数据并检查一致性;训练 token 级分类器;最后按实体级指标评估。评估时把预测的实体片段和真实片段做匹配,边界差一个字符就算错,所以边界标注必须严格。

常见问题:嵌套实体(一个实体里还有另一个实体)无法用单层 BIO 表示;重叠实体需要专门的结构;O 标签通常占绝大多数,token 级准确率会虚高;中文还要处理分词边界与字符偏移的对齐,否则标签会错位。

五、生成与检索:评估方式完全不同

生成的困难在于一个输入可能有多个正确答案。BLEU 统计生成文本与参考译文的 n-gram 重叠,ROUGE 类似,主要用于摘要。它们的优点是自动、可复现,缺点是只看字面重叠,与人类判断的相关性有限:换一种正确的说法可能得分很低,而流畅的错答案可能得分不低。

所以生成任务至少要三层评估:自动指标看趋势,任务指标看约束(如是否包含指定实体、长度是否合格),人工抽查看质量。上线前准备 30 到 50 条固定样例,每次改动都跑一遍。

检索评估的是排序:recall@k 看前 k 个结果里有没有相关文档;MRR 看第一个相关结果排在第几;nDCG 考虑相关性等级和位置折扣。评估时必须固定候选集合,否则换一批更容易的候选,指标会虚高。

RAG 系统要把两段分开评估:先看召回率,再看基于召回内容的答案质量。检索错了,生成再强也救不回来。

六、常见坑

  1. 数据泄漏:同一篇文档切成多段后随机分到训练集和测试集,模型其实见过测试内容。
  2. 标签不一致:标注规范模糊,不同标注员标准不同,模型学到的是噪声。
  3. 分词器与模型不匹配,或者训练和推理用了不同的截断策略。
  4. 长文本被截断,关键信息正好落在被切掉的部分。
  5. 把 BLEU 当成唯一指标,指标涨了但可读性变差。
  6. 类别不平衡时只看准确率,或者序列标注只看 token 级指标。
  7. 评估集太小,几十条样本的差异可能只是随机波动。

七、练习清单

  1. 用 Hugging Face 的 transformers 在一份中文情感数据上微调分类模型,报告 F1 和混淆矩阵。
  2. 训练一个命名实体识别模型,分别计算 token 级和实体级 F1,解释差距。
  3. 把同一段文本分别按字、按词、按子词分词,比较序列长度和未登录词比例。
  4. 为一个小型文档集建立检索,计算 recall@1、recall@5 和 MRR。
  5. 用 BLEU 和人工评分各评估一次摘要结果,记录两者不一致的例子。
  6. 写一份 10 条规则的标注规范,让另一个人按规范标 20 条,检查一致性。

NLP 项目的成败,往往在选任务形态和写标注规范时就决定了。模型只是把规范学进去,规范错了,模型越强错得越自信。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。