视觉配准入门：从“把两张图对齐”到“把标签迁过去”

这篇笔记想解决一个很朴素的问题：

为什么很多视觉系统，最后都会绕回“先把图对齐”这件事？

如果你刚接触视觉配准，可以先记住一句话：

视觉配准，本质上是在不同时间、不同视角、不同传感器拍到的图像之间，找到同一个世界坐标的对应关系。

说得再接地气一点，就是让两张本来对不上的图，尽量对上。

比如：

• 同一台相机前后两帧，要做视频稳像
• 左右两个摄像头，要做双目测距
• 无人机的可见光和热红外图像，要做融合
• 先在 RGB 图上标注，再把标签迁移到红外图上

这些事看起来不一样，底层都离不开配准。

---

1. 先把“配准”想简单

最基础的视觉配准，可以先理解成三个问题：

1. 两张图里，哪些位置其实对应同一个物体？
2. 这种错位到底是平移、旋转，还是还带缩放、透视变化？
3. 我应该用什么变换，把图 A 尽量拉到图 B 上？

如果只是手机拍歪了一点，可能只需要平移加旋转。

如果是两个镜头焦距不同、安装位置不同，往往就不止这些了。

如果是红外和可见光这种跨模态问题，麻烦会再上一个台阶，因为它们连“亮的东西”都不一定表示同一种物理意义。

---

2. 配准到底在对齐什么

很多人第一次学配准，会先卡在一个地方：

“我是在对齐像素，还是在对齐物体？”

答案是：表面上在对齐像素，实际上在逼近同一场景的几何对应关系。

假设一棵树在 RGB 图里出现在 (x1, y1)，在红外图里出现在 (x2, y2)。

如果我们能找到一个变换 T，让：

T(x1, y1) ≈ (x2, y2)

那就说明这两个位置被认为是同一个真实点在不同成像条件下的投影。

所以配准的核心不是“把图抹平”，而是建立映射关系。

一旦这个映射关系靠谱，后面很多事都能做：

• 图像融合
• 多模态检测
• 标签迁移
• 时序跟踪
• 三维重建

---

3. 常见几何模型：别一上来就单应矩阵

配准方法很多，但几何模型通常可以按复杂度从低到高理解。

3.1 平移

只允许左右、上下移动。

适合：

• 两张图几乎没旋转
• 已经做过粗对齐
• 剩余误差很小

形式最简单：

x' = x + dx
y' = y + dy

3.2 欧氏变换

允许平移和旋转，但不允许缩放和剪切。

适合刚性小范围对齐。

3.3 相似变换

允许平移、旋转、统一缩放。

当两张图存在“整体大一点/小一点”的差别时，比欧氏变换更实用。

3.4 仿射变换

允许平移、旋转、缩放、剪切，常被称为 6 自由度模型。

这是工程里非常常见的一档，因为它足够灵活，又没复杂到像透视那样难控。

很多常见的精配准方法，都会落在这一类。

3.5 单应变换

适合处理平面场景或明显透视变化。

它更强，但也更容易把问题带复杂。如果场景本身不满足条件，硬上高自由度模型，反而可能把结果带偏。

一句话总结：

模型不是越强越好，而是越贴合场景越好。

---

4. 配准方法可以怎么分

从思路上看，常见方法大致有三类。

4.1 基于特征点的方法

这类方法的思路是：

1. 先在两张图里找关键点
2. 再给关键点做描述
3. 最后匹配并估计几何变换

典型代表：

• SIFT
• ORB
• SuperPoint

优点：

• 直观
• 可解释
• 对局部几何变化常常比较稳

缺点：

• 跨模态时容易失灵
• 红外和可见光的纹理、灰度分布差异太大时，描述子不一定还能对得上

4.2 基于强度或统计量的方法

这类方法不一定先找点，而是直接定义“配准好不好”的度量，然后去优化。

典型代表：

• NCC
• ECC
• MI

其中：

• ECC 更像是在相关性上做优化
• MI 更像是在统计依赖关系上做优化

优点：

• 不依赖明确的关键点提取
• 对某些低纹理场景更友好

缺点：

• 往往依赖初值
• 容易陷入局部最优
• 跨模态时，如果度量选得不对，也会很痛苦

4.3 基于深度学习的方法

这类方法近几年发展很快，尤其是匹配网络。

典型代表：

• LoFTR

它的好处是：

• 不再完全依赖传统“检测点再描述”的套路
• 在复杂场景下往往能找到更稳定的对应关系

但代价也很现实：

• 算力要求更高
• 部署更重
• 跨模态泛化不一定天然就好，很多时候还得做域内微调

所以工程上经常不是“谁最强就用谁”，而是“谁在我的资源和场景里最稳”。

---

5. 为什么红外-可见光配准特别难

这类问题的重点，其实不是普通单目配准，而是跨模态配准，尤其是红外和可见光。

它难，主要难在三层。

5.1 成像机理不同

可见光记录的是反射光信息，纹理丰富。

热红外更多反映温度分布，很多在 RGB 里很清楚的边缘，在红外里可能很淡；反过来，热目标在红外里又可能特别明显。

于是一个经典假设就崩了：

同一个位置在两张图里，灰度不一定相近。

这会直接打击很多传统方法。

5.2 几何误差不只是平移

在不少红外-可见光数据里，常能看到这样的误差：

• 初始平移偏差约 50 到 150 像素
• 旋转差异约 1° 到 3°
• 缩放差异约 1% 到 5%

这说明纯平移模型不够，至少需要仿射级别来兜住主要误差。

5.3 场景本身还不老实

森林火灾场景里常见：

• 烟雾遮挡
• 火焰形态变化快
• 红外纹理稀疏
• 目标边界模糊

这意味着你不仅在和“模态差异”打架，还在和“场景不稳定”打架。

---

6. 为什么很多配准任务都要先粗配准，再精配准

很多论文喜欢直接讲优化器，但真正干活时，第一步往往不是“上最强算法”，而是先把问题压到能优化的范围里。

这就是粗配准的意义。

这里有个非常重要的判断：

粗配准不是低级步骤，而是让后续优化真正能收敛的前提。

原因很简单：

• ECC 这种梯度型方法有收敛域
• 初始偏差太大时，它可能直接发散
• 即便不发散，也可能收敛到错误局部极值

所以先人工或半自动做粗配准，把大位移消掉，再让自动算法吃剩下的小误差，这通常比“全自动一把梭”更可靠。

这个思路看起来很朴素，但往往很实用。

---

7. 学配准时，脑子里最好有一条最小主线

如果只保留最核心的理解链条，我会建议记住下面这条：

先判断错位长什么样，再选择模型，再选择匹配思路，最后判断结果够不够用。

拆开来说就是：

1. 先看问题是什么

   • 是同模态还是跨模态
   • 是小范围扰动还是大范围错位
   • 是主要平移，还是还带旋转、缩放、透视

2. 再看该用什么模型

   • 平移
   • 相似变换
   • 仿射
   • 单应

3. 再看该怎么找对应关系

   • 特征点匹配
   • 强度或统计量优化
   • 深度学习匹配

4. 最后再问一个最实际的问题

   • 对齐结果到底够不够你后面的任务使用

把这条线想清楚之后，配准就不再像一堆零散算法名词，而更像一套有顺序的判断过程。

---

8. 为什么“配准好了”这句话其实不简单

刚接触这个方向时，很容易把“配准好了”理解成一句很模糊的话。

但它至少可能有三层意思：

8.1 视觉上看着顺眼

比如两张叠加图不再有明显双影，边缘大致重合。

这是最直观的一层，但也是最容易骗到人的一层，因为“看着差不多”不一定真的能用于后续计算。

8.2 几何上确实更一致

这时候就会引入一些度量，比如：

• 对应点误差
• 边缘重合度
• 轮廓距离
• 相似性得分

这比肉眼判断更客观。

8.3 对下游任务真的有帮助

比如：

• 融合出来的图是不是更稳定
• 检测是不是更准
• 分割边界是不是更靠谱
• 标签能不能顺利迁移

所以“配准效果好不好”其实不能只靠一张可视化图来判断。

---

9. 那传统方法和深度学习方法是什么关系

很多人学到后面会问：

“那有了深度学习匹配，是不是传统方法就没意义了？”

通常不是。

更合适的理解是：

• 传统方法像基础工具箱
• 深度学习方法像更强但也更重的工具

传统方法的好处是：

• 思路清楚
• 可解释性强
• 依赖更少
• 很适合入门和打底

深度学习方法的好处是：

• 在复杂场景下往往能学到更强的匹配能力
• 在弱纹理、重复纹理、复杂几何变化里更有潜力

所以它们更像是不同层级的工具，而不是简单的谁替代谁。

---

10. 标签迁移为什么值得单独说

很多人学配准时，只盯着“配准精度”，但标签迁移其实特别能体现配准的价值。

因为一旦能稳定迁移标签，就意味着：

• RGB 标注可以复用到 IR
• 多模态数据集制作成本下降
• 下游分割、检测模型有了训练数据

这说明配准不是孤立模块，它会直接影响后面的数据质量和模型效果。

换句话说：

配准做得好，带来的往往不只是几像素误差的改善，而是整条后续任务链都更顺了。

---

11. 初学视觉配准时，最容易踩的几个坑

11.1 只谈算法，不谈初始条件

很多方法不是不行，是你给它的初始偏差太大了。

11.2 只看单张效果，不看批处理稳定性

偶尔对得很漂亮，不代表整批数据都能跑通。

11.3 只看平均误差，不看失败样本

平均值会把最致命的翻车样本藏起来。

11.4 只追高自由度模型

模型越强，越可能把噪声也一起拟合进去。

11.5 忽略下游任务

如果你的目标是做标签迁移，那你该关心的不只是对齐图好不好看，还要关心迁移后的边界会不会把训练带偏。

---

12. 如果现在让我给视觉配准画一张脑图

我会把它画成下面这条线：

场景需求
-> 判断是同模态还是跨模态
-> 估计误差类型：平移 / 旋转 / 缩放 / 透视
-> 选择几何模型
-> 选择匹配思路：特征 / 强度统计 / 深度学习
-> 做粗配准
-> 做精配准
-> 评估结果
-> 服务下游任务

把这条线理顺之后，很多论文看起来就不会再像“招式大全”，而会变成“这是在解决哪一步的问题”。

---

13. 我对视觉配准的一个简化理解

视觉配准不是单纯“找个算法把两张图扣上”，而是先理解错位的来源，再用合适的方法去建立对应关系。

尤其在红外-可见光这种跨模态任务里，更要记住一件事：

• 两张图看起来像不像，不等于它们真的容易配准
• 灰度接近，不等于语义接近
• 模型更复杂，不等于结果一定更好
• 配准的终点，往往不是“图变好看了”，而是“后面的任务能做了”

把这几句想清楚，很多配准文章就不会再显得那么玄。

14.延伸阅读

如果想继续往下看，可以先从这些经典工作入手：

• ECC: Evangelidis and Psarakis, 2008
• MI: Viola and Wells, 1997
• SIFT: Lowe, 2004
• ORB: Rublee et al., 2011
• LoFTR: Sun et al., 2021
• 红外可见光融合综述: Ma et al., 2019

15.附录

成功样例

失败样例