目录

1、题目

2、文献信息

3、动机

4、主要工作

1）构建 Reference-then-supervision 框架：

2）开发自动化工具组件：

3）建立 IVSI 基准数据集：

4）设计多监督加权损失函数：

5）验证下游任务潜力：

5、核心创新点

1）“先参考后监督”自动化范式：

2） AutoFilter 自动筛选机制：

3） AdapEnhance 自适应增强技术：

4）跨架构知识转移与加权损失：

5）首个带监督信息的基准数据集 (IVSI)：

6、网络结构

1）总体架构

2）各部分说明

7、损失函数

---

1、题目

“Reference-then-supervision framework for infrared and visible image fusion”

《参考-监督框架在红外与可见光图像融合中的应用》

2、文献信息

作者：李桂辉，石振生，顾兆瑞，郑兵a，郑海勇*

出处：PATTERN RECOGNITION，2025(158)110996

IF：7.6， JCR分区：Q1，新锐分区：计算机科学1区

链接：Reference-then-supervision framework for infrared and visible image fusion - ScienceDirect

3、动机

IVIF任务天然缺乏理想的参考图像、现有的直接监督方法主要依赖源图像，其特征容易在细节保留与亮度分布之间产生矛盾、人工挑选的高质量样本作为监督虽然有效，但过程耗时耗力且难以大规模应用

4、主要工作

1）构建 Reference-then-supervision 框架：

提出了一个包含预融合、参考、监督和模型四个阶段的系统化流程

2）开发自动化工具组件：

AutoFilter（基于多指标评分排序的机制，自动筛选出最接近融合目标的参考图像）、AdapEnhance（自适应亮度校正与显著边缘增强于一体，筛选出的图像精炼为高质量监督信息）

3）建立 IVSI 基准数据集：

构建了首个包含 500 对源图像及 2500 张对应的高质量人工筛选监督图像的红外-可见光数据集

4）设计多监督加权损失函数：

通过基于信息评价的加权机制，实现了将多个预训练模型的知识转移并应用到目标融合模型中

5）验证下游任务潜力：

在行人检测（YOLOv5）和目标跟踪（GFS-DCF）任务中证明了该框架能有效提升感知精度

5、核心创新点

1）“先参考后监督”自动化范式：

针对IVIF 任务天然缺乏理想的参考图像，出了一种自动生成并利用可靠监督信号进行模型训练的新架构

2） AutoFilter 自动筛选机制：

设计了内容无关且高度可扩展的评估排序系统，利用五项客观指标，从多模型预融合结果中自动筛选出最符合融合目标的参考图像

3） AdapEnhance 自适应增强技术：

通过集成自适应亮度校正与显著边缘提取算法，在不放大噪声的前提下优化参考图像的对比度与结构特征，将其转化为高质量的伪真值监督信息

4）跨架构知识转移与加权损失：

引入深度学习中的知识转移原则，通过多监督图像加权损失函数（强度与梯度损失），实现了对 AE、CNN、GAN 及 Transformer 等多种异构模型优势特征的高效集成与学习

5）首个带监督信息的基准数据集 (IVSI)：

构建并开源了第一个包含 500 对源图像及对应 2500 张人工筛选监督图像的 IVIF 数据集

6、网络结构

1）总体架构

2）各部分说明

Pre-fusion：

输入可见光和红外源图像，利用多个预训练的融合模型进行推理，生成包含多视角的初始预融合图像集

Reference：

通过自动过滤器（AutoFilter）对预融合结果集进行自动化处理，包含“评估与排序”以及“过滤与选择”两步，剔除低质量的融合结果，筛选出最贴近融合目标的优质图像作为参考图像

Supervision：

采用自适应增强算法将参考图像精炼为高质量的监督图像，包含“自适应亮度校正”以及“显著边缘增强”，能够自适应调整图像的对比度并改善细节特征，同时有效避免噪声的放大

Model：

利用上述生成的多张高质量监督图像来指导最终目标模型的训练构建，基于多监督图像设计了加权损失函数，使得模型能够同时学习强度损失和梯度损失

借助深度学习的知识转移机制，将多个现有融合方法的优势提取并整合到最终的输出结果中

7、损失函数

总损失函数由强度损失和梯度损失加权组合：