---

一句话摘要：本文不从“经验公式”出发，而是从**“模型量化到底在验证什么”这一根本问题开始，一步步推导出为什么余弦相似度（Cosine Similarity）**是衡量量化精度的终极标准，并给出可直接用于生产环境的评估标准。

---

一、第一性原理：我们在验证什么？

在做模型量化（Quantization）时，我们常陷入一个误区：

❌ 误区：验证量化后的数值和原始数值是否完全相等。
✅ 真相：验证量化后的模型，决策能力是否和原始模型一致。

这是所有讨论的起点。如果量化后模型的决策能力没变，哪怕数值差100倍，量化也是成功的；反之，哪怕数值只差0.001，但决策变了，量化就是失败的。

---

二、拆解：模型的“决策能力”是什么？

任何AI模型的输出，本质都是一个高维向量。模型的决策，完全由这个向量中元素的相对大小关系决定，和元素的绝对数值无关。

举例说明

假设一个二分类模型输出概率分布：

场景	输出向量	决策结果
原始模型	[0.1, 0.9]	类别 1
量化后 (×100)	[10, 90]	类别 1
量化后 (×0.01)	[0.001, 0.009]	类别 1
量化失败	[0.9, 0.1]	类别 0

结论：只要输出向量中元素的相对大小关系不变，模型的决策能力就不变。

---

三、数学抽象：寻找完美的度量工具

我们需要一个度量指标，它必须满足两个核心性质：

1. 对整体缩放不敏感：所有数值乘以同一个数，指标不变。
2. 对相对变化极度敏感：任意两个元素的大小关系反转，指标显著下降。

1. 向量的几何意义

在 $n$ 维空间中，一个向量可以看作是从原点出发的一个箭头：

• 长度（Magnitude）：代表数值的绝对大小。
• 方向（Direction）：代表元素间的相对比例。

2. 方向 = 相对关系

• 向量 a = [1, 2, 3] 和 b = [2, 4, 6]：长度不同，方向完全相同。
• 向量 a = [1, 2, 3] 和 c = [3, 2, 1]：长度相同，方向完全相反。

推论：衡量两个向量相对大小关系的一致性，等价于衡量两个向量方向的一致性。

3. 夹角的余弦值

在几何学中，衡量两个向量方向一致性的唯一标准，是它们之间的夹角 $\theta$。

根据向量点积定义：
$$\vec{a}\cdot \vec{b}=|\vec{a}|\times |\vec{b}|\times \cos \theta$$

变形得到余弦相似度公式：
$$\text{Cosine Similarity}=\cos \theta =\frac{\vec{a}\cdot \vec{b}}{|\vec{a}|\times |\vec{b}|}=\frac{{\sum }_{i=1}^n{a}_i{b}_i}{\sqrt{{\sum }_{i=1}^n{a}_i^2}\times \sqrt{{\sum }_{i=1}^n{b}_i^2}}$$

---

四、性质验证：为什么它完美契合量化？

让我们验证这个公式是否满足我们提出的两个性质。

性质1：对整体缩放完全不敏感

假设 $\vec{b}=k\times \vec{a}$ （$k>0$，即整体缩放）：
$$\cos \theta =\frac{\vec{a}\cdot (k\vec{a})}{|\vec{a}|\times |k\vec{a}|}=\frac{k(\vec{a}\cdot \vec{a})}{k\times |\vec{a}{|}^2}=1$$
✅ 无论缩放多少倍，余弦相似度恒为1。

性质2：对相对变化极度敏感

假设 $\vec{a}=[1,2]$, $\vec{b}=[2,1]$ （相对关系反转）：
$$\cos \theta =\frac{1\times 2+2\times 1}{\sqrt{1^2+2^2}\times \sqrt{2^2+1^2}}=\frac{4}{5}=0.8$$
✅ 仅交换两个元素的位置，相似度就从1.0降至0.8。

---

五、实战指南：如何解读量化结果？

1. 量化专用评估标准

在量化项目中，请直接参考下表进行判断：

余弦相似度	量化等级	状态	建议
0.99 ~ 1.0	优秀	✅ 可部署	精度损失几乎不可见
0.95 ~ 0.99	良好	✅ 可部署	精度损失极小
0.90 ~ 0.95	一般	⚠️ 谨慎	需检查特定层或数据
< 0.90	较差	❌ 不可部署	需重训或改用混合精度

2. 案例分析：0.9998意味着什么？

如果量化结果为 0.9998：

• 夹角 $\theta$：约为 $1.15^{\circ }$。
• 含义：两个向量方向几乎完全重合，模型的决策边界没有发生位移。
• 结论：这是顶级优秀的量化结果，可以放心部署到嵌入式设备。

3. 为什么不用 MSE（均方误差）？

MSE 衡量的是绝对数值的差异，在量化场景中极具误导性。

指标	原始值 [1, 2, 3]	量化值 [2, 4, 6]	结论
MSE	-	4.67 (误差巨大)	❌ 判定量化失败
余弦相似度	-	1.0 (方向一致)	✅ 判定量化成功

显然，余弦相似度反映了真实的业务情况。

---

六、局限性补充

余弦相似度并非万能，它对整体偏移不敏感。

• 原始：[1, 2, 3]
• 量化：[2, 3, 4] (所有数值+1)

此时余弦相似度依然很高，但如果你的后处理逻辑严重依赖数值的绝对值（而非相对排序），则需要注意这一点。不过，在大多数CV/NLP任务的量化中，这种偏移影响极小。

---

七、总结

1. 起点：量化要保的是决策能力，不是数值。
2. 本质：决策能力 = 向量元素的相对大小关系。
3. 工具：相对大小关系 = 向量方向 = 余弦相似度。
4. 行动：看到 0.99+ 的结果，大胆上线！

---

如果你在量化过程中遇到相似度低的问题，欢迎在评论区贴出你的Layer-wise结果，我们一起分析是哪一层导致了“方向偏离”。