RoPE，全称是 Rotary Position Embedding，即旋转位置编码。它的核心思想可以概括为一句话：

不用“加法”把位置塞进词向量，而是用“旋转”把位置编码进 Query 和 Key 的几何关系里。

要真正理解 RoPE，需要依次搞清楚四件事：旋转矩阵是怎么来的，$m,n$ 代表什么，RoPE 如何把位置变成旋转，以及为什么旋转后的点积只依赖相对位置。

---

零、旋转矩阵是怎么来的

二维旋转矩阵不是凭空记出来的，它来自一个基本事实：

任意线性变换，只要知道它把基向量变到哪里，就能确定整个矩阵。

二维平面中有两个标准基向量：

$$e_1=\left(\begin{array}{c}1\\ 0\end{array}\right),e_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$$

其中 $e_1$ 指向 $x$ 轴正方向，$e_2$ 指向 $y$ 轴正方向。

现在我们希望把整个平面逆时针旋转角度 $\alpha$。

先看第一个基向量 $e_1$。它原本在 $0^{\circ }$ 方向，旋转 $\alpha$ 后，会落到单位圆上角度为 $\alpha$ 的位置，因此：

$$R_{\alpha }{e}_1=\left(\begin{array}{c}\cos \alpha \\ \sin \alpha \end{array}\right)$$

再看第二个基向量 $e_2$。它原本在 $90^{\circ }$，也就是 $\frac{\pi }{2}$ 方向。逆时针旋转 $\alpha$ 后，它会到达：

$$\frac{\pi }{2}+\alpha$$

所以它的新坐标是：

$$R_{\alpha }{e}_2=\left(\begin{array}{c}\cos (\frac{\pi }{2}+\alpha )\\ \sin (\frac{\pi }{2}+\alpha )\end{array}\right)=\left(\begin{array}{c}-\sin \alpha \\ \cos \alpha \end{array}\right)$$

矩阵的两列正好就是两个基向量变换后的结果，因此旋转矩阵为：

$$R_{\alpha }=\left(\begin{array}{cc}\cos \alpha & -\sin \alpha \\ \sin \alpha & \cos \alpha \end{array}\right)$$

其中第一列表示 $x$ 轴基向量旋转后去了哪里，第二列表示 $y$ 轴基向量旋转后去了哪里。

对于任意二维向量：

$$v=\left(\begin{array}{c}x\\ y\end{array}\right)=x{e}_1+y{e}_2$$

旋转后就是：

$$R_{\alpha }v=x{R}_{\alpha }{e}_1+y{R}_{\alpha }{e}_2$$

代入上面的结果：

$$R_{\alpha }v=x\left(\begin{array}{c}\cos \alpha \\ \sin \alpha \end{array}\right)+y\left(\begin{array}{c}-\sin \alpha \\ \cos \alpha \end{array}\right)$$

所以：

$$R_{\alpha }v=\left(\begin{array}{c}x\cos \alpha -y\sin \alpha \\ x\sin \alpha +y\cos \alpha \end{array}\right)$$

这就是二维旋转矩阵的来源。RoPE 后面用到的所有公式，本质上都建立在这个旋转矩阵之上。

---

一、$m$ 和 $n$ 从哪里来

RoPE 中的 $m$ 和 $n$ 并不神秘，它们就是 Token 在序列中的位置编号。

比如输入一句话：

$$\text{“我 喜欢 吃 烤肉”}$$

那么可以编号为：

$$\text{我}\to 0,\text{喜欢}\to 1,\text{吃}\to 2,\text{烤肉}\to 3$$

所以 $m$ 和 $n$ 本质上就是 Token 的索引。第 $m$ 个 Token 的 Query 记作 $q_m$，第 $n$ 个 Token 的 Key 记作 $k_n$。

模型不需要额外“推理”出 $m$ 和 $n$，它们天然来自输入序列的位置。

---

二、RoPE 如何把位置变成旋转

RoPE 的做法不是把位置向量加到词向量上，而是根据位置编号旋转 Query 和 Key。

二维情况下，如果原始 Query 向量是：

$$q=\left(\begin{array}{c}{q}_1\\ q_2\end{array}\right)$$

第 $m$ 个位置就让它旋转角度：

$$m\theta$$

也就是：

$${\tilde{q}}_m=R_{m\theta }q$$

其中：

$$R_{m\theta }=\left(\begin{array}{cc}\cos (m\theta )& -\sin (m\theta )\\ \sin (m\theta )& \cos (m\theta )\end{array}\right)$$

所以：

$${\tilde{q}}_m=\left(\begin{array}{c}{q}_1\cos (m\theta )-q_2\sin (m\theta )\\ q_1\sin (m\theta )+q_2\cos (m\theta )\end{array}\right)$$

同理，对于第 $n$ 个位置的 Key：

$$k=\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)$$

RoPE 会让它旋转角度 $n\theta$：

$${\tilde{k}}_n=R_{n\theta }k$$

即：

$${\tilde{k}}_n=\left(\begin{array}{c}{k}_1\cos (n\theta )-k_2\sin (n\theta )\\ k_1\sin (n\theta )+k_2\cos (n\theta )\end{array}\right)$$

因此，RoPE 的本质就是：

$$\text{位置编号 }m⟶\text{旋转角度 }m\theta$$

位置不再是一个额外加进去的向量，而是变成了向量空间中的旋转角度。

---

三、旋转后的点积为什么只依赖相对位置

注意力分数来自 Query 和 Key 的点积。经过 RoPE 后，计算的是：

$${\tilde{q}}_m\cdot {\tilde{k}}_n$$

把上面的两个旋转向量代入：

$$\begin{array}{rl}{\tilde{q}}_m\cdot {\tilde{k}}_n=& (q_1\cos m\theta -q_2\sin m\theta )(k_1\cos n\theta -k_2\sin n\theta )\\ & +(q_1\sin m\theta +q_2\cos m\theta )(k_1\sin n\theta +k_2\cos n\theta )\end{array}$$

展开并整理后得到：

$${\tilde{q}}_m\cdot {\tilde{k}}_n=(q_1{k}_1+q_2{k}_2)\cos ((m-n)\theta )+(q_1{k}_2-q_2{k}_1)\sin ((m-n)\theta )$$

这里用到了两个三角恒等式：

$$\cos A\cos B+\sin A\sin B=\cos (A-B)$$

$$\sin A\cos B-\cos A\sin B=\sin (A-B)$$

这一步就是 RoPE 的关键。

最终公式中不再单独出现 $m$，也不再单独出现 $n$，只剩下：

$$m-n$$

也就是说，RoPE 影响注意力分数的不是“这个词在第几个位置”，而是“两个词相隔多远”。

比如两个词分别在位置 $1$ 和 $3$，相对距离是：

$$3-1=2$$

如果整句话整体平移到位置 $10001$ 和 $10003$，相对距离仍然是：

$$10003-10001=2$$

RoPE 会让这两种情况对应同一个相对旋转角：

$$(m-n)\theta$$

所以它天然具有一种平移不变性：整体位置变了，但相对距离不变，注意力中的位置关系也保持一致。

---

四、为什么一个数字 $m$ 能表示位置

这里还有一个容易卡住的问题：$m$ 只是一个整数，为什么它能变成有效的位置特征？

如果只在一个二维平面上旋转，确实会有重复问题。

假设：

$$\theta =10^{\circ }$$

那么：

$$m=1\Rightarrow 10^{\circ }$$

而：

$$m=37\Rightarrow 370^{\circ }=10^{\circ }$$

第 $1$ 个位置和第 $37$ 个位置在这个二维平面上重合了。也就是说，单个旋转平面无法唯一表示长序列位置。

真实大模型的做法是使用 多频旋转。

假设一个 attention head 的维度是 $128$，RoPE 会把它拆成 $64$ 组二维平面：

$$(q_1,q_2),(q_3,q_4),\dots ,(q_{127},q_{128})$$

每一组二维平面都有自己的旋转频率：

$${\theta }_1,{\theta }_2,\dots ,{\theta }_{64}$$

第 $i$ 组的旋转角度是：

$$m{\theta }_i$$

通常这些频率按指数规律衰减，例如：

$${\theta }_i=10000^{-2i/d}$$

其中 $d$ 是 head dimension。

直观理解，RoPE 给每个位置安排了一组“多频时钟”。

高频维度转得快，适合捕捉相邻 Token 的细粒度顺序；低频维度转得慢，适合区分长距离位置。即使某个高频平面转了一圈重合了，其他中低频平面通常还没有重合。

所以位置 $m$ 最终不是由一个角度表示，而是由一串角度组合表示：

$$(m{\theta }_1,m{\theta }_2,\dots ,m{\theta }_{64})$$

这串多频角度就是位置 $m$ 的高维旋转指纹。

更准确地说，它不是保证在无限长度上永不重复，而是在模型设计的上下文长度和数值精度范围内，提供了足够丰富、足够可区分的位置表示。

---

五、RoPE 和绝对位置编码的本质区别

传统绝对位置编码，例如 BERT、GPT-2 一类方法，通常是把位置向量直接加到词向量中。

设第 $m$ 个 Token 的词向量是 $x_m$，位置向量是 $p_m$，则输入表示为：

$$h_m=x_m+p_m$$

然后生成 Query 和 Key：

$$q_m=(x_m+p_m)W_q$$

$$k_n=(x_n+p_n)W_k$$

注意力分数为：
$${\text{Score}}_{abs}=q_m{k}_n^{\mathrm{T}}$$

展开后：
$${\text{Score}}_{abs}=(x_m+p_m)W_q{W}_k^{\mathrm{T}}(x_n+p_n{)}^{\mathrm{T}}$$

其中会出现一个纯绝对位置项：
$$p_m{W}_q{W}_k^{\mathrm{T}}{p}_n^{\mathrm{T}}$$

其中会出现一个纯绝对位置项：

$$p_m{W}_q{W}_k^T{p}_n^T$$

这个项直接依赖 $p_m$ 和 $p_n$。

因此，位置 $1$ 和位置 $3$ 的关系由 $p_1,p_3$ 决定；位置 $10001$ 和位置 $10003$ 的关系由 $p_{10001},p_{10003}$ 决定。即使它们的相对距离都等于 $2$，绝对位置编码也不能天然保证这两种位置关系完全一致。

RoPE 则不同。

RoPE 不把位置作为额外向量加进去，而是把位置变成旋转角度：

$$m\to m{\theta }_i$$

然后通过旋转后的 Query 和 Key 做点积，使绝对位置 $m,n$ 在公式中自然合并成相对位置：

$$m-n$$

所以 RoPE 不是简单地告诉模型“这个词在第几个位置”，而是让模型在注意力分数中直接感知“两个词之间相隔多远”。

---

总结

RoPE 的逻辑可以串成一条完整链路：

首先，二维旋转矩阵来自标准基向量的旋转结果：

$$R_{\alpha }=\left(\begin{array}{cc}\cos \alpha & -\sin \alpha \\ \sin \alpha & \cos \alpha \end{array}\right)$$

然后，RoPE 把 Token 的位置编号 $m$ 映射成旋转角度 $m\theta$：

$$m\to m\theta$$

接着，它对第 $m$ 个位置的 Query 和第 $n$ 个位置的 Key 分别旋转：

$${\tilde{q}}_m=R_{m\theta }q,{\tilde{k}}_n=R_{n\theta }k$$

最后，两者点积后，绝对位置 $m,n$ 消失，只留下相对距离：

$$m-n$$

因此，RoPE 的本质是：

用旋转矩阵把位置编号变成几何角度，再通过 Query 和 Key 的点积，把绝对位置自然转化为相对位置。

相比绝对位置编码，RoPE 更符合语言中的结构规律：很多时候，真正重要的不是一个词出现在第几个座位，而是它和另一个词之间隔了多远。