NLP教程(5) - 语言模型、RNN、GRU与LSTM

一、语言模型：自然语言处理的基石

语言模型（Language Model, LM）是自然语言处理的核心组件，其本质是通过统计方法或神经网络预测给定序列的概率。从统计语言模型到神经语言模型，其发展历程反映了NLP技术的范式转变。

1.1 统计语言模型

n-gram模型是统计语言模型的典型代表，通过计算连续n个词的出现频率来估计序列概率：
[ P(w1,w_2,…,w_n) = \prod{i=1}^n P(wi|w{i-n+1},…,w_{i-1}) ]

局限性分析：

• 数据稀疏问题：当n>3时，高阶n-gram在训练集中可能未出现
• 上下文窗口限制：无法捕捉长距离依赖关系
• 参数规模爆炸：若词汇表大小为V，n-gram模型参数数量为(O(V^n))

1.2 神经语言模型

2003年Bengio提出的神经概率语言模型（NNLM）通过分布式表示解决数据稀疏问题：

import torch
import torch.nn as nn
class NNLM(nn.Module):
    def __init__(self, vocab_size, embed_dim, context_size):
        super().__init__()
        self.embeddings = nn.Embedding(vocab_size, embed_dim)
        self.linear1 = nn.Linear(context_size * embed_dim, 128)
        self.linear2 = nn.Linear(128, vocab_size)
    def forward(self, inputs):
        embeds = self.embeddings(inputs).view(1, -1)
        out = torch.relu(self.linear1(embeds))
        out = self.linear2(out)
        log_probs = torch.log_softmax(out, dim=1)
        return log_probs

技术突破：

• 词嵌入（Word Embedding）将离散词映射为连续向量
• 隐藏层自动学习特征表示
• 参数规模与词汇表大小解耦

二、循环神经网络（RNN）：序列建模的突破

RNN通过引入循环结构处理变长序列数据，其核心在于隐藏状态的时序传递：
[ ht = \sigma(W{hh}h{t-1} + W{xh}xt + b_h) ]
[ y_t = \sigma(W{hy}h_t + b_y) ]

2.1 RNN的梯度问题

梯度消失/爆炸：反向传播时，梯度通过时间步（BPTT）计算，导致：

• 长期依赖失效：梯度指数级衰减（σ为sigmoid时）
• 训练不稳定：梯度指数级增长（W_{hh}特征值>1时）

解决方案：

• 梯度裁剪（Gradient Clipping）：限制梯度最大范数
• 权重初始化：正交初始化或Xavier初始化
• 激活函数改进：使用ReLU或LeakyReLU

2.2 RNN的变体结构

双向RNN：通过前向和后向RNN同时捕捉过去和未来上下文
[ h_t = [\overrightarrow{h}_t; \overleftarrow{h}_t] ]

深度RNN：堆叠多个RNN层增强表达能力

class DeepRNN(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super().__init__()
        self.rnn = nn.RNN(input_size, hidden_size, num_layers, 
                         batch_first=True, bidirectional=True)
    def forward(self, x):
        out, _ = self.rnn(x)  # out: (batch, seq_len, 2*hidden_size)
        return out

三、门控循环单元（GRU）：RNN的优化方案

GRU通过引入重置门（Reset Gate）和更新门（Update Gate）解决梯度问题：

3.1 GRU的数学表达

重置门：
[ rt = \sigma(W_r \cdot [h{t-1}, xt]) ]
更新门：
[ z_t = \sigma(W_z \cdot [h{t-1}, xt]) ]
候选隐藏状态：
[ \tilde{h}_t = \tanh(W \cdot [r_t * h{t-1}, xt]) ]
最终隐藏状态：
[ h_t = (1 - z_t) * h{t-1} + z_t * \tilde{h}_t ]

3.2 GRU的优势分析

参数效率：相比LSTM，GRU参数减少约25%
训练速度：门控计算更简单，收敛更快
实证表现：在多数任务中与LSTM性能相当

应用场景：

• 资源受限设备（移动端、嵌入式系统）
• 需要快速原型开发的场景
• 中等长度序列建模（<100时间步）

四、长短期记忆网络（LSTM）：处理长程依赖的利器

LSTM通过三个门控结构（输入门、遗忘门、输出门）和记忆单元实现精确的时序控制：

4.1 LSTM的完整架构

遗忘门：
[ ft = \sigma(W_f \cdot [h{t-1}, xt]) ]
输入门：
[ i_t = \sigma(W_i \cdot [h{t-1}, xt]) ]
输出门：
[ o_t = \sigma(W_o \cdot [h{t-1}, xt]) ]
候选记忆：
[ \tilde{c}_t = \tanh(W_c \cdot [h{t-1}, xt]) ]
记忆更新：
[ c_t = f_t * c{t-1} + i_t \tilde{c}_t ]
隐藏状态：
[ h_t = o_t \tanh(c_t) ]

4.2 LSTM的变体与改进

Peephole LSTM：允许门控结构查看记忆单元状态
[ ft = \sigma(W_f \cdot [c{t-1}, h_{t-1}, x_t]) ]

耦合输入/遗忘门：强制输入门和遗忘门互补
[ ct = f_t * c{t-1} + (1 - f_t) * \tilde{c}_t ]

双向LSTM：结合前向和后向LSTM

class BiLSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers,
                           batch_first=True, bidirectional=True)
    def forward(self, x):
        out, _ = self.lstm(x)  # out: (batch, seq_len, 2*hidden_size)
        return out

五、模型选择与工程实践

5.1 模型选择指南

模型类型	参数规模	训练速度	长程依赖	适用场景
RNN	低	快	差	短序列、资源受限
GRU	中	较快	中等	中等长度序列
LSTM	高	慢	强	长序列、复杂任务

5.2 训练优化策略

梯度处理：

• 使用梯度裁剪（clipgrad_norm）
• 采用混合精度训练（FP16）

正则化技术：

• 层归一化（Layer Normalization）
• 随机dropout（隐藏层、嵌入层）
• 标签平滑（Label Smoothing）

序列处理技巧：

• 梯度累积（Gradient Accumulation）处理长序列
• 桶式填充（Bucket Padding）减少计算浪费
• 动态批处理（Dynamic Batching）提升GPU利用率

六、未来发展方向

1. Transformer的崛起：自注意力机制逐步取代RNN体系
2. 高效RNN变体：如QRNN、SRU等并行化改进
3. 记忆增强网络：结合外部记忆的神经图灵机
4. 跨模态学习：RNN与CNN、Transformer的混合架构

本教程系统梳理了语言模型的发展脉络，深入解析了RNN、GRU与LSTM的核心机制。通过数学推导、代码实现和工程优化策略，为开发者提供了从理论到实践的完整指南。在实际应用中，应根据任务需求、数据特性和计算资源综合选择模型架构，并持续关注领域最新进展。