1. 复习笔记的定位与价值：为什么需要一份自己的NLP笔记？
在山东大学计算机相关专业，或者任何一所高校的课程体系中，自然语言处理（NLP）都是一门既充满魅力又颇具挑战的课程。它横跨了语言学、计算机科学、数学和人工智能等多个领域，知识点密集且相互关联。从词法分析、句法解析到语义理解、机器翻译，再到如今大行其道的预训练语言模型，内容迭代速度极快。很多同学在期末复习时，面对厚厚的教材、零散的PPT和上百篇论文引用，常常感到无从下手，陷入“学了后面忘了前面”的困境。
这正是我整理这份复习笔记的核心出发点。它不是一个简单的PPT摘抄或教材目录，而是一个经历过完整课程学习、项目实践乃至求职面试的“过来人”，对NLP知识体系的一次系统性重构和精炼。这份笔记的价值在于：
- 体系化梳理：将课堂上分散的知识点，按照“基础理论 -> 核心任务 -> 前沿模型”的逻辑线串联起来，帮你建立清晰的NLP知识图谱。
- 重点难点突破：结合历年考题和项目经验，明确指出哪些是必须掌握的“硬核”概念（如注意力机制、Transformer），哪些是容易混淆的细节（如BLEU和ROUGE指标的区别），并提供通俗易懂的解释和记忆技巧。
- 理论联系实际：对于关键算法和模型，不仅阐述其数学原理，更会说明其“为什么有效”的直观理解，以及在实际代码（如使用PyTorch或TensorFlow）中是如何实现的。例如，理解Word2Vec的Skip-gram模型，不仅要懂负采样，更要明白它如何通过一个简单的神经网络完成词向量的分布式表示。
- 应对考察：无论是应对学校的期末考试、课程大作业，还是为未来的研究生面试、求职笔试做准备，这份笔记都能提供一个高效、可靠的复习蓝本。
简单说，我希望这份笔记能成为你NLP学习路上的一个“加速器”和“错题本”，让你把时间花在理解与思考上，而不是在信息的海洋里盲目搜寻。
2. NLP基础：从符号到表示学习的演进之路
自然语言处理的发展，本质上是对语言“表示”方式的探索与革新。理解这条演进脉络，是掌握后续所有复杂模型的基础。
2.1 语言的离散符号表示与经典方法
在深度学习统治NLP之前，我们主要处理的是符号化的、离散的语言数据。
2.1.1 词袋模型与TF-IDF这是最直观的表示方法。把一段文本（文档）看作一个袋子，里面装着一个个的词，忽略词序和语法。每个文档都可以表示为一个长向量，向量的每一维对应一个词，值可以是该词出现的次数（词频TF）。但“的”、“是”这种词出现次数多却无实际意义，因此引入逆文档频率（IDF）来降低常见词的权重。TF-IDF = TF * IDF，它衡量了一个词对于一个文档集或一个语料库中的一个文档的重要程度。
注意：词袋模型完全丢失了词序信息，“猫抓老鼠”和“老鼠抓猫”的表示是一样的，这是其最大缺陷。但在文本分类、情感分析等任务早期，它简单有效。
2.1.2 N-gram语言模型为了捕捉一定的词序信息，N-gram模型应运而生。它基于马尔可夫假设，即一个词的出现只与它前面有限个词相关。例如，二元语法（Bigram）假设当前词只依赖前一个词。通过统计语料中词序列出现的概率，可以计算一个句子的概率，或预测下一个词。但它面临严重的数据稀疏问题：随着N增大，可能的词组合呈指数增长，很多组合在训练语料中从未出现，其概率会被估计为0（需要进行平滑处理，如拉普拉斯平滑、Katz回退等）。
2.2 分布式表示：词向量的革命
2013年前后，Word2Vec和GloVe等模型的提出，标志着NLP进入了“表示学习”时代。核心思想是：一个词的语义由其上下文决定。通过神经网络学习，每个词被映射为一个稠密、低维的实数向量（词向量/词嵌入）。
2.2.1 Word2Vec的精髓Word2Vec包含两个模型：CBOW（用上下文预测中心词）和Skip-gram（用中心词预测上下文）。以更常用的Skip-gram为例：
- 模型结构：一个简单的三层神经网络（输入层、隐藏层、输出层）。输入是中心词的one-hot向量，经过一个权重矩阵（即词嵌入矩阵）得到隐藏层向量（即该词的词向量），再经过另一个权重矩阵计算与所有上下文词的相关得分，最后通过softmax得到概率分布。
- 负采样技巧：原始的Skip-gram在计算softmax时，需要遍历整个词表，计算量巨大。负采样通过“采样”少量负样本（非目标上下文词）来近似目标函数，极大地提升了训练效率。其核心思想是：让模型学会区分“真实上下文词”和“随机噪声词”。
- 直观理解：经过训练，语义相近的词（如“国王”和“君主”），其词向量在空间中的距离（如余弦相似度）会很近。甚至能捕捉“国王 - 男人 + 女人 = 女王”这样的语义关系。
2.2.2 GloVe：全局与局部信息的结合GloVe（Global Vectors for Word Representation）从全局词-词共现统计矩阵出发，通过矩阵分解的思想来学习词向量。它结合了全局统计信息（像LSA）和局部上下文窗口信息（像Word2Vec）的优点。其目标函数直接基于共现概率的比率，使得学习到的向量空间具有更清晰的线性子结构。
实操心得：在实际项目中，对于中等规模语料，使用预训练的Word2Vec或GloVe词向量作为模型输入的初始化，几乎总是比随机初始化效果更好，能显著提升模型收敛速度和最终性能。
gensim库提供了非常便捷的加载和使用预训练词向量的接口。
3. 神经网络与序列建模：从RNN到Attention的跨越
词向量解决了词的表示问题，但句子和篇章是序列。如何建模序列信息？循环神经网络（RNN）及其变体曾是这一领域的王者。
3.1 RNN、LSTM与GRU：处理序列的记忆与遗忘
3.1.1 朴素RNN及其梯度问题RNN通过循环结构，让网络拥有“记忆”，能够处理任意长度的序列。其核心公式是：h_t = f(W * x_t + U * h_{t-1} + b)，其中h_t是当前时刻的隐藏状态，包含了到当前时刻为止的序列信息。 然而，朴素RNN在训练时面临著名的梯度消失/爆炸问题。在通过时间反向传播（BPTT）时，梯度需要沿着时间步连续相乘。如果权重矩阵的特征值小于1，梯度会指数级缩小（消失），导致远距离依赖无法学习；如果大于1，则会指数级放大（爆炸），导致训练不稳定。
3.1.2 LSTM：精密的记忆细胞门控机制长短时记忆网络（LSTM）通过引入“细胞状态”和三个门控（输入门、遗忘门、输出门），精巧地解决了长程依赖问题。
- 细胞状态：像一条传送带，贯穿整个时间线，负责保存长期记忆。门控机制负责向其中添加或移除信息。
- 遗忘门：决定从细胞状态中丢弃哪些旧信息。
f_t = σ(W_f · [h_{t-1}, x_t] + b_f) - 输入门：决定将哪些新信息存入细胞状态。它包含一个sigmoid层决定更新哪些值，和一个tanh层生成新的候选值。
- 输出门：基于当前的输入和细胞状态，决定输出什么隐藏状态。
3.1.3 GRU：LSTM的简化高效版门控循环单元（GRU）将LSTM的输入门和遗忘门合并为“更新门”，并混合了细胞状态和隐藏状态，结构更简单，参数更少，训练速度往往更快，在许多任务上能达到与LSTM相当的性能。
踩坑实录：在实践初期，我曾以为LSTM/GRU能自动学会所有长距离依赖。实际上，如果任务中的关键信息间隔非常远（如超过100个词），即使LSTM也可能表现不佳。此外，RNN系列模型无法并行计算，训练速度慢，这是其固有的瓶颈。
3.2 注意力机制：让模型学会“聚焦”
注意力机制是NLP近代史上最重要的思想之一。它解决了序列到序列（Seq2Seq）模型（通常由编码器RNN和解码器RNN构成）的一个核心缺陷：编码器需要将整个输入序列的信息压缩成一个固定长度的上下文向量，这会造成信息瓶颈，尤其是对于长输入序列。
3.2.1 注意力机制的工作原理注意力机制允许解码器在生成每一个输出词时，“回头看”编码器所有输入隐藏状态的加权组合，而不是只看最后一个隐藏状态。
- 计算注意力分数：对于解码器当前时刻的隐藏状态
s_t，计算它与编码器每一个隐藏状态h_i的相关性分数（如点积、加性注意力等）。 - 计算注意力权重：将上一步的分数通过softmax函数归一化，得到一组权重
α_{ti}，表示在生成第t个输出词时，对第i个输入词的关注程度。 - 计算上下文向量：将编码器所有隐藏状态
h_i按权重α_{ti}加权求和，得到当前时刻的上下文向量c_t。 - 融合与输出：将上下文向量
c_t与解码器当前状态s_t拼接，送入前馈网络产生最终的输出。
3.2.2 自注意力与Transformer的基石注意力机制不仅可以用于连接编码器和解码器，还可以用于一个序列内部，这就是自注意力。在自注意力中，序列中的每个位置都可以关注序列中所有其他位置的信息，从而更好地捕捉序列内部的依赖关系，无论距离多远。这种强大的能力，直接催生了Transformer模型。
4. Transformer架构深度解析：从编码到预训练的范式转移
2017年，Google的论文《Attention Is All You Need》彻底改变了NLP的格局。Transformer完全摒弃了RNN/CNN结构，仅依赖自注意力机制和前馈神经网络，实现了前所未有的并行能力和对长程依赖的建模能力。
4.1 Transformer的核心组件拆解
一个标准的Transformer模型由编码器堆叠和解码器堆叠组成。我们以编码器为例，深入其每一层。
4.1.1 输入表示：词嵌入 + 位置编码由于Transformer没有循环结构，它无法感知词序。因此，必须显式地加入位置编码，将序列中词的位置信息注入模型。通常使用正弦和余弦函数来生成位置编码向量，然后与词嵌入向量相加。这种编码方式能让模型轻松学习到相对位置关系。
4.1.2 多头自注意力层这是Transformer的灵魂。它并行地运行多个“头”，每个头在不同的表示子空间里学习关注不同的信息。
- Q, K, V矩阵：对于输入序列X，通过三个不同的线性变换，得到查询矩阵Q、键矩阵K和值矩阵V。
- 缩放点积注意力：计算注意力分数的公式为：
Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) V。除以sqrt(d_k)是为了防止点积结果过大导致softmax梯度太小。 - 多头拼接：多个头的输出被拼接起来，再经过一个线性变换，得到最终的多头注意力输出。这使得模型可以同时关注来自不同位置的不同表示子空间的信息。
4.1.3 前馈神经网络与残差连接每个注意力层或前馈层后都跟着一个残差连接和层归一化。即：LayerNorm(x + Sublayer(x))。残差连接缓解了深层网络的梯度消失问题，层归一化则加速了模型训练收敛。 前馈神经网络是一个简单的两层全连接网络，中间有一个ReLU激活函数：FFN(x) = max(0, xW1 + b1)W2 + b2。它为每个位置独立地进行变换。
4.2 BERT与预训练语言模型时代
Transformer编码器部分被BERT（Bidirectional Encoder Representations from Transformers）发扬光大，开启了“预训练-微调”的NLP新范式。
4.2.1 BERT的核心创新：双向上下文与预训练任务
- 双向编码：与传统的从左到右的语言模型不同，BERT使用Transformer编码器，在预训练时就能同时看到某个词左右两侧的上下文，从而获得更丰富的语义表示。
- 掩码语言模型：随机遮盖输入序列中15%的词，让模型预测这些被遮盖的词。这迫使模型必须基于双向上下文进行推断。
- 下一句预测：判断两个句子是否是连续的上下文关系。这个任务帮助模型理解句子间关系，对问答、自然语言推理等任务至关重要。
4.2.2 如何使用BERT：微调的艺术拿到一个预训练好的BERT模型后，我们只需要在其顶部添加一个与下游任务相关的简单输出层（如一个全连接层用于分类），然后在特定任务的数据集上进行少量迭代的微调，就能取得非常好的效果。这个过程相当于用大规模通用语料（如维基百科）上学习到的语言知识，来初始化我们的任务模型，极大地降低了对特定任务标注数据量的需求。
经验技巧：在微调BERT时，学习率的设置非常关键。通常，预训练层使用较小的学习率（如2e-5），而新添加的任务层使用较大的学习率（如1e-4）。这被称为“差分学习率”，能有效防止灾难性遗忘，并让新层快速适应。
5. 关键NLP任务与评估指标：从理论到实践的桥梁
掌握了核心模型，最终要落到解决具体问题上。NLP任务繁多，但有几类是基础和核心。
5.1 文本分类与情感分析
这是最经典的任务。给定一段文本，将其划分到预定义的类别中（如新闻分类、垃圾邮件识别）。情感分析是特例，判断文本的情感极性（正面/负面/中性）。
- 模型演进：从早期的TF-IDF + SVM，到使用RNN/CNN捕捉局部特征，再到直接使用BERT等预训练模型的[CLS] token向量进行分类。现在，基于预训练模型的微调已成为绝对主流。
- 评估指标：对于类别均衡的数据，准确率足矣。对于不均衡数据（如欺诈检测），需关注精确率、召回率和F1值。多分类任务常用宏平均F1（对每个类单独计算F1再平均）和微平均F1（先汇总所有类的TP/FP/FN再计算）。
5.2 序列标注：命名实体识别与词性标注
为序列中的每一个token分配一个标签。例如，命名实体识别（NER）中，标签可能是B-PER（人名开始）、I-PER（人名内部）、O（非实体）等。
- 经典模型：BiLSTM-CRF是2018年之前的黄金标准。双向LSTM捕捉上下文特征，条件随机场（CRF）在解码时考虑标签之间的转移约束（如I-PER不能跟在O后面），有效提升标注一致性。
- BERT时代：将每个token的BERT输出向量送入一个分类层（或CRF层）进行标注。由于BERT强大的上下文表征能力，通常能取得SOTA结果。
5.3 机器翻译与文本生成
这是序列到序列任务的典型代表。从早期的统计机器翻译（SMT）到基于RNN的Seq2Seq+Attention，再到完全基于Transformer的模型（如Google的Transformer， Facebook的Fairseq）。
- 评估指标：BLEU是最常用的自动评估指标，它通过计算生成译文和参考译文之间的n-gram重合度来打分。但它与人工评价的相关性在句子级别不高，更适用于语料库级别的评估。ROUGE常用于文本摘要评估，关注召回率。
- 解码策略：生成时，贪婪解码（每一步选概率最大的词）速度快但容易陷入局部最优。集束搜索（Beam Search）保留多个候选序列，效果更好但更耗时。采样方法（如Top-k采样，核采样）能增加生成文本的多样性。
5.4 问答系统与阅读理解
给定一个上下文（如一篇维基百科文章）和一个问题，从上下文中找出答案片段或生成答案。
- 抽取式问答：如SQuAD数据集上的任务。模型需要预测答案在上下文中的起始和结束位置。通常将问题和上下文拼接输入BERT，用两个分类器分别预测每个token作为答案开始和结束的概率。
- 生成式问答：答案可能不在原文中，需要模型综合理解后生成。这更接近Seq2Seq的文本生成任务。
6. 前沿探索与实战避坑指南
NLP领域日新月异，在掌握基础之后，需要关注前沿动态，并在实践中避开常见的“坑”。
6.1 大模型与提示学习
以GPT系列为代表的自回归语言模型，通过海量数据和巨大参数规模，展现了惊人的生成和上下文学习能力。随之兴起的提示学习，改变了我们使用模型的方式：不再是设计复杂的任务层进行微调，而是通过设计自然语言提示模板，直接引导大模型完成任务。例如，情感分析任务，输入可以是“请判断以下评论的情感倾向：[评论文本]选项：正面，负面，中性。” 这降低了对标注数据的依赖，但对提示工程的要求很高。
6.2 模型轻量化与部署实践
BERT-base模型就有1.1亿参数，在实际部署中面临内存占用大、推理速度慢的问题。
- 知识蒸馏：用一个大模型（教师模型）的输出作为监督信号，去训练一个小模型（学生模型），让学生模型模仿教师模型的行为。
- 模型剪枝：移除网络中不重要的权重或神经元。
- 量化：将模型参数从32位浮点数转换为8位整数，大幅减少模型体积和加速推理。
- 使用更高效的架构：如ALBERT（通过参数共享减少参数量）、DistilBERT（蒸馏版的BERT）、TinyBERT等。
踩坑实录：在将模型部署到生产环境时，最容易忽略的是预处理和后处理的一致性。训练时使用的分词器（Tokenizer）、文本清洗步骤，必须与线上服务完全一致。一个常见的错误是，线上服务漏掉了训练时做的“去除多余空格”或“统一全半角”操作，导致模型性能严重下降。务必编写单元测试来保证预处理管道的可靠性。
6.3 数据与标签的陷阱
模型的上限往往由数据决定。
- 数据不平衡：对于分类任务，如果正负样本比例悬殊，模型会倾向于预测多数类。解决方法包括对多数类欠采样、对少数类过采样（如SMOTE）、或在损失函数中引入类别权重。
- 标签噪声：标注数据中存在错误。这会影响模型学习到真实规律。可以通过交叉验证筛选出可能标错的数据进行复核，或使用对噪声鲁棒的损失函数。
- 领域适配：在通用语料（如新闻）上预训练的模型，直接用于特定领域（如医疗、法律）效果可能打折。需要进行领域自适应预训练，即在目标领域的无标注文本上继续预训练模型，然后再微调。
整理这份笔记的过程，也是我自己对NLP知识的一次再巩固和再思考。技术迭代飞快，但基础原理、核心思想以及解决问题的思维方式是相对稳固的。无论是面对考试还是实际项目，希望这份融合了理论梳理、实践心得和避坑指南的笔记，能帮你更高效地构建起属于自己的NLP知识体系，在理解的基础上灵活应用，而不仅仅是背诵。最后，动手写代码、跑实验、分析结果，永远是学习NLP最有效的途径，没有之一。
