为什么需要归一化？

训练大模型时，每一层的激活值容易忽大忽小，梯度不稳定。
归一化（Normalization） 把每个 token 的 $D$ 维向量 $\mathbf{x}$ 拉到合适尺度，再让网络学习如何缩放、平移。

下面三个名字最常一起出现：

方法	一句话
LayerNorm（LN）	先减均值，再除以标准差
RMSNorm	不减均值，除以均方的平方根
AdaRMS	分母同 RMS，缩放/平移由条件 $\mathbf{c}$ 决定

---

前提

对 单个 token 的向量 $\mathbf{x}\in {\mathbb{R}}^D$，在 $D$ 维 内部 做统计（不跨 token、不跨 batch）。
$\epsilon$ 为极小常数（如 $10^{-6}$），防止除零。

---

一、LayerNorm

先 中心化（减均值），再按 标准差 缩放，最后用可学习参数 $\mathbf{\gamma },\mathbf{\beta }$ 做仿射变换。

$$\mu =\frac{1}{D}\sum _{i=1}^D{x}_i,\hat{\mathbf{x}}=\frac{\mathbf{x}-\mu }{\sqrt{\mathrm{Var}(\mathbf{x})+\epsilon }},\mathbf{y}=\mathbf{\gamma }\odot \hat{\mathbf{x}}+\mathbf{\beta }$$

• 有减均值 $\mathbf{x}-\mu$
• 分母是 $\sqrt{\mathrm{Var}+\epsilon }$（标准差），不是方差本身
• 可学习参数约 $2D$ 个（$\mathbf{\gamma }$ 与 $\mathbf{\beta }$ 各 $D$ 维）

常见于 Transformer、ViT。

---

二、RMSNorm

不减均值，用各维平方的平均值 $m$ 开根号作为尺度，把 $\mathbf{x}$ 除过去，再可学习缩放。

$$m=\frac{1}{D}\sum _{i=1}^D{x}_i^2,\hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{m+\epsilon }},\mathbf{y}=(1+\mathbf{w})\odot \hat{\mathbf{x}}$$

亦有实现写 $\mathbf{y}=\mathbf{w}\odot \hat{\mathbf{x}}$。

正确与错误写法：

$$\boxed{\text{正确：}\hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{m+\epsilon }}\text{错误：}\hat{\mathbf{x}}=\frac{\mathbf{x}}{m+\epsilon }}$$

$\mathbf{x}\cdot \mathrm{rsqrt}(m+\epsilon )$ 与上式等价。
LLaMA、Gemma 等常用 RMSNorm，比 LayerNorm 少算一步均值，往往略快。

---

三、AdaRMS

去噪、流匹配等场景里，网络要在不同噪声水平 $t$ 下表现不同。AdaRMS 在 每一层 用条件 $\mathbf{c}$（如时间步嵌入）调节归一化后的向量，思路类似扩散模型中的 AdaLN。

RMS 归一化（与 RMSNorm 相同）：

$$\hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }}$$

条件仿射：

$$[\mathbf{s},\mathbf{t},\mathbf{g}]=f(\mathbf{c}),\mathbf{y}=\hat{\mathbf{x}}\odot (1+\mathbf{s})+\mathbf{t}$$

可选门控残差：

$${\mathbf{h}}_{\mathrm{out}}={\mathbf{h}}_{\mathrm{in}}+\mathbf{g}\odot \mathrm{Sublayer}(\cdot )$$

$\hat{\mathbf{x}}$ 的分母与 RMSNorm 相同；$\mathbf{s},\mathbf{t}$ 随 $\mathbf{c}$ 变化，而非全局固定的 $\mathbf{\gamma },\mathbf{\beta }$。

---

四、并排对照

$$\begin{array}{rl}\text{LayerNorm:}& \hat{\mathbf{x}}=\frac{\mathbf{x}-\mu }{\sqrt{\mathrm{mean}((\mathbf{x}-\mu {)}^2)+\epsilon }},\mathbf{y}=\mathbf{\gamma }\odot \hat{\mathbf{x}}+\mathbf{\beta }\\ \text{RMSNorm:}& \hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }},\mathbf{y}=(1+\mathbf{w})\odot \hat{\mathbf{x}}\\ \text{AdaRMS:}& \hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }},\mathbf{y}=\hat{\mathbf{x}}\odot (1+\mathbf{s}(\mathbf{c}))+\mathbf{t}(\mathbf{c})\end{array}$$

	减均值？	$\hat{\mathbf{x}}$ 分母	输出
LayerNorm	✓	$\sqrt{\mathrm{Var}+\epsilon }$	$\mathbf{\gamma }\odot \hat{\mathbf{x}}+\mathbf{\beta }$
RMSNorm	✗	$\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }$	$(1+\mathbf{w})\odot \hat{\mathbf{x}}$
AdaRMS	✗	同 RMS	$\hat{\mathbf{x}}\odot (1+\mathbf{s})+\mathbf{t}$

---

五、数值例子

设 $\mathbf{x}=[1,2,3,4{]}^{\top }$：

• LayerNorm：$\mu =2.5$，$\hat{\mathbf{x}}$ 大致正负对称
• RMSNorm：$m=7.5$，$\hat{\mathbf{x}}=\mathbf{x}/\sqrt{7.5}$，分量同向拉伸

二者 $\hat{\mathbf{x}}$ 不同——不仅是否减均值不同，分母用的统计量也不同。RMSNorm 并不是「不减均值的 LayerNorm」。

---

六、选用建议

• 经典结构、生态成熟 → LayerNorm
• 大语言模型、略省计算 → RMSNorm
• 强条件生成（时间步、类别等），希望每层注入条件 → AdaRMS（或 AdaLN）

---

小结

$$\text{LN:}\hat{\mathbf{x}}=\frac{\mathbf{x}-\mu }{\sqrt{\mathrm{Var}(\mathbf{x})+\epsilon }},\mathbf{y}=\mathbf{\gamma }\odot \hat{\mathbf{x}}+\mathbf{\beta }$$

$$\text{RMS:}\hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }},\mathbf{y}=(1+\mathbf{w})\odot \hat{\mathbf{x}}$$

$$\text{AdaRMS:}\hat{\mathbf{x}}=\frac{\mathbf{x}}{\sqrt{\mathrm{mean}({\mathbf{x}}^2)+\epsilon }},\mathbf{y}=\hat{\mathbf{x}}\odot (1+\mathbf{s}(\mathbf{c}))+\mathbf{t}(\mathbf{c})$$