手推 ROPE 的核心公式

第一步：设定初始变量（准备画布）

假设我们有两个词，分别位于序列的第 $m$ 个位置和第 $n$ 个位置。

• 位于位置 $m$ 的词，它的 Query 向量是一个二维特征：$\mathbf{q}=\left(\begin{array}{c}{q}_1\\ q_2\end{array}\right)$
• 位于位置 $n$ 的词，它的 Key 向量也是一个二维特征：$\mathbf{k}=\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)$

RoPE 规定，针对位置 $m$，我们需要旋转的角度是 $m\theta$；针对位置 $n$，旋转角度是 $n\theta$。（$\theta$ 是预设的常数基频）。

对应的二维旋转矩阵为：
$$R(m\theta )=\left(\begin{array}{cc}\cos (m\theta )& -\sin (m\theta )\\ \sin (m\theta )& \cos (m\theta )\end{array}\right)$$

---

第二步：分别施加旋转位置编码

现在，我们把绝对位置 $m$ 和 $n$ 分别“注入”到 $\mathbf{q}$ 和 $\mathbf{k}$ 中。在纸上写下这两组矩阵乘法：

1. 带有位置 $m$ 的 Query 向量（记为 ${\tilde{\mathbf{q}}}_m$）：
$${\tilde{\mathbf{q}}}_m=R(m\theta )\mathbf{q}=\left(\begin{array}{cc}\cos (m\theta )& -\sin (m\theta )\\ \sin (m\theta )& \cos (m\theta )\end{array}\right)\left(\begin{array}{c}{q}_1\\ q_2\end{array}\right)=\left(\begin{array}{c}{q}_1\cos (m\theta )-q_2\sin (m\theta )\\ q_1\sin (m\theta )+q_2\cos (m\theta )\end{array}\right)$$

2. 带有位置 $n$ 的 Key 向量（记为 ${\tilde{\mathbf{k}}}_n$）：
$${\tilde{\mathbf{k}}}_n=R(n\theta )\mathbf{k}=\left(\begin{array}{cc}\cos (n\theta )& -\sin (n\theta )\\ \sin (n\theta )& \cos (n\theta )\end{array}\right)\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)=\left(\begin{array}{c}{k}_1\cos (n\theta )-k_2\sin (n\theta )\\ k_1\sin (n\theta )+k_2\cos (n\theta )\end{array}\right)$$

手推提示： 此时，${\tilde{\mathbf{q}}}_m$ 和 ${\tilde{\mathbf{k}}}_n$ 都只包含了自己的绝对位置信息。它们对彼此毫无感知。

---

第三步：计算注意力得分（核心多项式展开）

在 Transformer 的注意力机制中，我们要计算这两个向量的点积（内积）：${\tilde{\mathbf{q}}}_m\cdot {\tilde{\mathbf{k}}}_n$。
二维向量的点积就是 “第一行乘第一行” 加上 “第二行乘第二行”。

为了书写方便，我们令 $\alpha =m\theta$ ， $\beta =n\theta$。

第一项乘积（横坐标相乘）：
$$(q_1\cos \alpha -q_2\sin \alpha )(k_1\cos \beta -k_2\sin \beta )$$
展开后得到：
$$q_1{k}_1\cos \alpha \cos \beta -q_1{k}_2\cos \alpha \sin \beta -q_2{k}_1\sin \alpha \cos \beta +q_2{k}_2\sin \alpha \sin \beta \text{— (式 A)}$$

第二项乘积（纵坐标相乘）：
$$(q_1\sin \alpha +q_2\cos \alpha )(k_1\sin \beta +k_2\cos \beta )$$
展开后得到：
$$q_1{k}_1\sin \alpha \sin \beta +q_1{k}_2\sin \alpha \cos \beta +q_2{k}_1\cos \alpha \sin \beta +q_2{k}_2\cos \alpha \cos \beta \text{— (式 B)}$$

---

第四步：合并同类项与三角恒等式（见证奇迹）

现在，把 (式 A) + (式 B)，并将含有相同 $q$ 和 $k$ 组合的项合并在一起。你会在纸上看到一个极其对称的结构：

1. 提取 $q_1{k}_1$ 的项：
$$q_1{k}_1(\cos \alpha \cos \beta +\sin \alpha \sin \beta )$$
根据初中学的差角余弦公式，括号里正好是 $\cos (\alpha -\beta )$。
所以这一项等于：$q_1{k}_1\cos (\alpha -\beta )$

2. 提取 $q_2{k}_2$ 的项：
$$q_2{k}_2(\sin \alpha \sin \beta +\cos \alpha \cos \beta )$$
同样，它等于：$q_2{k}_2\cos (\alpha -\beta )$

3. 提取 $q_1{k}_2$ 的项：
$$q_1{k}_2(\sin \alpha \cos \beta -\cos \alpha \sin \beta )$$
根据差角正弦公式，括号里正好是 $\sin (\alpha -\beta )$。
所以这一项等于：$q_1{k}_2\sin (\alpha -\beta )$

4. 提取 $q_2{k}_1$ 的项：
$$q_2{k}_1(\cos \alpha \sin \beta -\sin \alpha \cos \beta )$$
注意这里的符号，提取一个负号出来变成 $-(\sin \alpha \cos \beta -\cos \alpha \sin \beta )$，正好是 $-\sin (\alpha -\beta )$。
所以这一项等于：$-q_2{k}_1\sin (\alpha -\beta )$

---

第五步：得出最终结论

把上面四项全部加起来：
$${\tilde{\mathbf{q}}}_m\cdot {\tilde{\mathbf{k}}}_n=(q_1{k}_1+q_2{k}_2)\cos (\alpha -\beta )+(q_1{k}_2-q_2{k}_1)\sin (\alpha -\beta )$$

此时，把我们刚才简写的 $\alpha =m\theta$ 和 $\beta =n\theta$ 代回去：
$$\alpha -\beta =m\theta -n\theta =(m-n)\theta$$

最终的数学展开项定格为：
$${\tilde{\mathbf{q}}}_m\cdot {\tilde{\mathbf{k}}}_n=(q_1{k}_1+q_2{k}_2)\cos ((m-n)\theta )+(q_1{k}_2-q_2{k}_1)\sin ((m-n)\theta )$$

为什么说这是“绝妙之处”？

当你推导到最后一步时，你会发现一个震撼的事实：
等式的右边，绝对位置 $m$ 和 $n$ 彻底消失了！ 整个算式只受 $(m-n)$ 这一个变量的影响。

这意味着：
无论你的 Query 在第 10 个位置，Key 在第 15 个位置 ($10-15=-5$)；
还是你的 Query 在第 1000 个位置，Key 在第 1005 个位置 ($1000-1005=-5$)；
只要这两个 Token 的相对距离相同，它们在注意力机制里计算出的关于位置的得分加成，就是完全一样的！

这就是所谓的平移不变性（Translation Invariance）。模型不需要刻意去学习长序列中每一个绝对位置的含义，它只需要关注 Token 之间的相对远近，这让模型处理超长上下文（Long Context）的泛化能力得到了前所未有的提升。

在刚才的推导中，我们把一个 2D 向量当作了一个完整的特征。但在真实的，例如 3072 维（或者切分后的 768 维、1152 维）张量中，RoPE 绝对不是去构造一个 $3072\times 3072$ 的巨型旋转矩阵来进行高维空间旋转。

它的工程实现核心秘诀就八个字：两两分组，多频旋转。

为了让你彻底看透这个机制，我们直接拿 CogVideoX 切分出来的**时间维度特征块 $z_t$（768 维）**来开刀。假设当前这个 Token 位于第 2 帧（即绝对位置 $m=2$）。

第一步：将高维特征“两两分组”

我们手里有一个 768 维的特征向量：
$$z_t=[x_1,x_2,x_3,x_4,\dots ,x_{767},x_{768}]$$

RoPE 的第一步，是把这 768 个标量按顺序切分成 384 对 2D 向量。你可以把它们想象成 384 个独立的小平面：

• 第 0 组：$(x_1,x_2)$
• 第 1 组：$(x_3,x_4)$
• …
• 第 383 组：$(x_{767},x_{768})$

第二步：引入“多频率”基座（核心灵魂）

这是高维 RoPE 最精妙的地方。如果我们让这 384 组 2D 向量都按照同一个基频 $\theta$ 去旋转，那它们携带的位置信息就完全冗余了。

因此，RoPE 为每一组 2D 向量分配了不同大小的旋转频率 ${\theta }_i$。
公式通常定义为（以 LLaMA 等主流实现为例）：
$${\theta }_i=10000^{-\frac{2i}{d}}$$
其中，$d=768$（特征维度），$i$ 是分组的索引（从 $0$ 到 $383$）。

• 当 $i=0$ 时（第 0 组）：${\theta }_0=10000^0=1$。频率最高，旋转步子迈得最大。
• 当 $i=383$ 时（最后一组）：${\theta }_{383}\approx 10000^{-1}=0.0001$。频率极低，位置怎么变它都几乎不动。

直觉理解： 这就像一个包含 384 根指针的超级时钟。第一组是秒针（转得飞快），中间是分针，最后一组是走得极慢的世纪针。哪怕是一万年后的绝对位置，这个超级时钟上的 384 根指针的组合状态也是全球唯一的。

第三步：在 384 个 2D 平面上同时执行旋转

现在，绝对位置 $m=2$ 来了。我们要对这 384 组向量同时进行 2D 旋转。

对于第 0 组 $(x_1,x_2)$：
旋转角度是 $m\cdot {\theta }_0=2\times 1=2$ 弧度。
$$\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos (2)& -\sin (2)\\ \sin (2)& \cos (2)\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$$

对于第 1 组 $(x_3,x_4)$：
假设 ${\theta }_1=0.976$，旋转角度是 $m\cdot {\theta }_1=2\times 0.976=1.952$ 弧度。
$$\left(\begin{array}{c}{x}_3^{\prime }\\ x_4^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos (1.952)& -\sin (1.952)\\ \sin (1.952)& \cos (1.952)\end{array}\right)\left(\begin{array}{c}{x}_3\\ x_4\end{array}\right)$$

…… 以此类推，直到第 383 组。

第四步：重新拼接为 768 维

384 组 2D 旋转全部做完后，把它们重新按顺序拼成一根长向量：
$$z_t^{\prime }=[x_1^{\prime },x_2^{\prime },x_3^{\prime },x_4^{\prime },\dots ,x_{767}^{\prime },x_{768}^{\prime }]$$

此时，这个 768 维的 $z_t^{\prime }$ 就完美注入了“第 2 帧”的时间位置信息。