自然语言处理
从分词到预训练,理解机器处理语言的底层逻辑
自然语言处理(NLP)研究如何让计算机理解和生成人类语言。从分词、词性标注、命名实体识别,到机器翻译、问答与对话,NLP 是今天大模型能力的直接来源。它既是语言学与统计方法的交叉,也是所有对话系统的地基。
即使你只做应用,理解 tokenization、文本表示和评测方法,也能避免很多「玄学调参」。所以别把它当成只属于研究者的领域。为什么基础仍然重要
大模型把很多传统任务变成了「写提示词」,但工程问题并没有消失:中文分词影响检索召回,标注规范决定数据质量,评估指标决定你能否判断改进是否有效。理解 BERT 与 GPT 两条路线的差异,也能帮你在微调、检索和提示之间做出正确选择。理解语言模型如何被评测,能帮你在选型和验收时少交学费。
核心概念与技术脉络
沿着数据形态和任务目标,可以把它拆成下面几块,它们至今仍在使用。
- 文本表示:从词袋、word2vec 到上下文相关的预训练表示。
- 模型路线:BERT 式编码器擅长理解类任务,GPT 式解码器擅长生成,T5 把两者统一为序列到序列。
- 任务与评估:分类、抽取、摘要、翻译;BLEU、ROUGE 之外更要看人工评估与业务指标。
- 中文与多语言:分词边界、简繁转换与领域词表,都会影响实际效果。
学习路径与误区
先系统读一遍经典教材,再用 Hugging Face 课程跑通预训练模型微调,然后用 spaCy 快速做工程原型。教材不必一次读完,按任务查章节即可。建议拿一份真实语料完成「数据标注、训练、评估、错误分析」的完整闭环,这比刷十个教程更有价值。如果只做应用,至少要能独立完成一次数据清洗和错误分析。
学完本专题再去看大模型,你对 tokenizer、上下文和评测的理解会明显更扎实。遇到效果不好的时候,先看数据,再看模型,最后才看提示词。
这个专题要回答的问题
- 有了大模型,还有必要学分词、NER 这些传统 NLP 任务吗?
- BERT 和 GPT 的核心区别是什么?
- 中文分词为什么比英文麻烦?
- 文本分类任务,微调小模型和调用大模型 API 哪个更合适?
- BLEU、ROUGE 分数高就说明生成质量好吗?
- NLP 项目的数据标注该怎么组织?
精选资源
NLP 权威教材,第三版草稿可免费下载。
用 Transformers 跑通分类、抽取与微调,动手性强。
工业级 NLP 流水线,适合快速做工程原型。
预训练加微调范式的转折点,编码器路线的代表。
NLP 论文全文库,查最新进展的入口。
深度学习与 NLP 的经典课程,讲义公开。
相关文章
NLP 基础任务全景:分类、序列标注、生成与检索
NLP 任务全景:分类、序列标注、生成与检索四类任务分别怎么建模、用什么指标、数据怎么准备,讲清分词与子词、BIO 标注、BLEU 与 ROUGE 的局限和常见坑。
Transformer 结构详解:注意力、多头、位置编码与残差
拆开 Transformer:自注意力里 Q/K/V 的分工、缩放点积的原因、多头如何并行看不同子空间、位置编码与残差和层归一化如何让深网络可训练,附结构对照与常见坑。
微调、LoRA、RAG 怎么选:一张决策表 + 最小实践路径
微调不是万能钥匙,也不是知识库。本文讲清全参微调、LoRA、QLoRA 与 RAG 各自改变什么,用一张决策表帮你选路线,再给数据准备、训练配置、回归评测的最小实践路径与常见坑。
大模型评测:怎么判断一个模型/提示"到底行不行"
评测不是跑排行榜,而是回答「这一版比上一版好还是差」。本文讲指标设计、LLM 裁判与人工校准的取舍,用 bootstrap 区间避免被噪声误导,并给出评测集建设与常见坑清单。