在处理序列数据（如文本、时间序列）时，传统神经网络无法捕捉时序依赖，而 ** 循环神经网络（RNN）** 及其变体（LSTM、GRU）正是为解决这一问题而生。本文结合学习笔记，梳理 RNN、LSTM、GRU 的核心原理与演进逻辑，帮你快速吃透序列建模的核心技术。

---

一、基础循环神经网络（RNN）：时序依赖的起点

RNN 是最基础的序列模型，核心设计是让隐藏层状态在时间步间传递，从而保留历史信息。

1. 结构与核心公式

• 基础结构：输入层 → RNN 隐藏层 → 全连接输出层，隐藏层状态 ht​ 会同时作为当前时间步的输出和下一时刻的输入。
• 核心公式：ht​=tanh(Whh​ht−1​+Wxh​xt​+bh​)yt​=Why​ht​+by​
  • ht​：第t步的隐藏状态，承载历史信息
  • xt​：第t步的输入
  • Whh​,Wxh​,Why​：权重矩阵
  • tanh：激活函数，将状态压缩到(−1,1)区间

2. 特点与局限

• 优点：结构简单，能处理任意长度的序列数据，天然适配时序依赖场景。
• 致命缺陷：梯度消失 / 爆炸问题—— 当序列过长时，梯度在反向传播中会指数级衰减或激增，导致模型无法学习长期依赖（比如文本中开头的信息无法影响结尾的预测）。

---

二、LSTM：解决长期依赖的经典方案

为了克服 RNN 的梯度消失问题，** 长短期记忆网络（LSTM）** 通过引入 “门控机制”，实现了对历史信息的精细控制。

1. 核心设计：三大门控 + 细胞状态

LSTM 在隐藏层中新增了细胞状态 Ct​（类似 “传送带”，让信息在时间步间稳定传递），并通过三个门控来管理信息流动：

表格

门控类型	核心作用	公式
遗忘门（Forget Gate）	决定丢弃哪些历史信息	ft​=σ(Wf​⋅[ht−1​,xt​]+bf​)
输入门（Input Gate）	决定新增哪些信息到细胞状态	it​=σ(Wi​⋅[ht−1​,xt​]+bi​) C~t​=tanh(WC​⋅[ht−1​,xt​]+bC​)
输出门（Output Gate）	决定从细胞状态中输出哪些信息	ot​=σ(Wo​⋅[ht−1​,xt​]+bo​) ht​=ot​⋅tanh(Ct​)

• 细胞状态更新：Ct​=ft​∗Ct−1​+it​∗C~t​这个公式直观体现了 LSTM 的核心：选择性遗忘旧信息 + 选择性加入新信息，让长期依赖信息得以保留。

2. 结构可视化

LSTM 的内部结构可以拆解为：

• 上一时刻的细胞状态 Ct−1​ 和隐藏状态 ht−1​ 与当前输入 xt​ 拼接
• 经过三个门控和候选细胞状态的计算，更新得到 Ct​ 和 ht​
• 最终输出 ht​ 传递到下一时刻或输出层

3. 优势

• 有效缓解梯度消失问题，能学习长序列中的长期依赖关系
• 门控机制让模型灵活控制信息流动，适配复杂序列场景（如机器翻译、文本生成）

---

三、GRU：LSTM 的简化高效版

** 门控循环单元（GRU）** 是 LSTM 的轻量化变体，通过合并门控来减少参数，同时保留核心能力。

1. 核心设计：两大门控 + 隐藏状态融合

GRU 将 LSTM 的遗忘门和输入门合并为更新门，同时取消了单独的细胞状态，直接用隐藏状态承载信息：

表格

门控类型	核心作用	公式
更新门（Update Gate）	控制 “保留多少旧信息 + 加入多少新信息”	zt​=σ(Wz​⋅[ht−1​,xt​]+bz​)
重置门（Reset Gate）	控制 “忽略多少旧信息”	rt​=σ(Wr​⋅[ht−1​,xt​]+br​)
候选隐藏状态	基于重置门后的旧信息和当前输入生成新信息	h~t​=tanh(W⋅[rt​∗ht−1​,xt​]+b)
最终隐藏状态	融合旧信息和新信息	ht​=(1−zt​)∗ht−1​+zt​∗h~t​

2. 与 LSTM 的对比

• 参数更少：GRU 的门控数量更少，训练速度更快，计算成本更低
• 效果相当：在多数场景下，GRU 的表现与 LSTM 接近，是更高效的选择
• 适用场景：数据量较小、算力有限时优先选 GRU；复杂长序列场景可尝试 LSTM

---

四、多层 RNN 与实践应用

1. 多层 RNN 堆叠

为了提升模型的特征提取能力，我们可以将多个 RNN/LSTM/GRU 层堆叠：

• 下层 RNN 的输出作为上层 RNN 的输入
• 每一层可以提取不同粒度的时序特征（底层提取局部依赖，顶层提取全局依赖）
• 注意：堆叠层数不宜过多，否则会加剧梯度消失问题，通常 2-3 层即可

2. 典型应用场景

• 文本分类：用 RNN/LSTM 提取文本序列特征，最后接全连接层分类
• 机器翻译：Encoder-Decoder 结构（Encoder 用 LSTM 编码源语言，Decoder 用 LSTM 生成目标语言）
• 时间序列预测：预测股票价格、天气、销量等时序数据
• 命名实体识别（NER）：对每个时间步的 token 做序列标注

3. 训练与优化要点

• 梯度裁剪：防止梯度爆炸
• Dropout：在门控层加入 Dropout 防止过拟合
• Batch Normalization：稳定训练过程
• 截断反向传播（BPTT）：处理超长序列时，只截断部分梯度进行反向传播

---

五、总结：RNN 家族演进脉络

从 RNN 到 LSTM 再到 GRU，核心演进逻辑是解决长期依赖问题 + 优化效率：

1. RNN：基础序列模型，简单但无法处理长序列
2. LSTM：引入门控机制，有效缓解梯度消失，能学习长期依赖
3. GRU：简化 LSTM 结构，减少参数，提升训练效率，效果接近 LSTM

在实际项目中，我们可以根据数据规模、算力和任务复杂度选择合适的模型：

• 入门 / 小数据集：优先尝试 GRU，快速验证效果
• 复杂长序列 / 追求精度：选择 LSTM
• 极致效率：GRU 是更优解