目录

1、题目

2、文献信息

3、动机

4、主要工作

1）提出STDFusionNet框架：

2）采用伪连体特征提取网络：

3）构建特定损失函数：

5、核心创新点

1）首次显式定义融合目标：

2）掩膜引导的隐式检测与融合机制：

3）真正的端到端模型：

6、网络结构

1）网络结构

2）伪连体特征提取网络

3）特征重建网络

7、损失函数

1）理想融合图像定义：

2）像素损失(Pixel Loss)：

3）梯度损失(Gradient Loss)：

4）梯度损失(Gradient Loss)：

---

1、题目

“STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection ”

《 STDFusionNet:一种基于显着目标检测的红外与可见光图像融合网络》

2、文献信息

作者： Jiayi Ma , Member, IEEE, Linfeng Tang , Meilong Xu , Hao Zhang , and Guobao Xiao , Member,

IEEE出处：IEEE Transactions on Instrumentation and Measurement,VOL.70,1-13

IF:5.9 JCR分区：Q1 新锐分区：工程技术2区

链接：STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection | IEEE Journals & Magazine | IEEE Xplore

3、动机

现有深度学习图像融合方法因未能明确定义理想的融合信息，且在构建损失函数时未区分处理源图像的不同区域，导致红外显著目标和可见光纹理等关键有效信息在融合过程中被削弱

4、主要工作

1）提出STDFusionNet框架：

一种基于显著目标检测的红外与可见光图像融合网络

2）采用伪连体特征提取网络：

采用伪连体网络架构，有区别地从红外图像中选择性提取显著目标特征，从可见光图像中提取背景纹理特征

3）构建特定损失函数：

结合红外图像的显著目标掩膜（mask），构建了包含像素损失和梯度损失的特定损失函数，用于指导特征的提取与最终融合重建

5、核心创新点

1）首次显式定义融合目标：

该领域首次将红外与可见光图像融合的优化目标，明确定义为红外显著目标与可见光背景纹理的结合

2）掩膜引导的隐式检测与融合机制：

创新性地将显著目标掩膜引入特定损失函数，引导模型在无需额外网络分支的情况下，隐式地实现显著目标检测与关键信息的融合

3）真正的端到端模型：

显著目标掩膜仅在模型训练阶段提供空间引导，测试阶段无需输入任何掩膜即可生成高质量融合图像，实现了高效的端到端推断

6、网络结构

1）网络结构

2）伪连体特征提取网络

伪连体架构：网络采用了双分支并行的结构，分别独立接收并处理“可见光图像”和“红外图像”。这两个分支的网络结构完全一致，但它们的参数是独立训练的，目的是为了对不同模态的源图像进行差异化处理

初始特征提取：每个分支的输入首先通过一个感受野较大的5×5卷积层，紧接着是一个Leaky ReLU激活函数

深层特征强化：在初始卷积层之后，每个分支均级联了3个连续的残差块(ResBlock)。引入残差块的设计不仅能进一步强化提取到的特征，还能有效缓解神经网络训练过程中常见的梯度消失或爆炸问题

目的：能够有针对性地从红外图像中提取出显著的目标特征，同时从可见光图像中提取出丰富的背景纹理特征，为后续的特征融合做好准备

3）特征重建网络

多模态特征输入：来自特征提取网络两个独立分支的特征会在通道维度上进行拼接后作为重建网络的统一输入

核心网络架构：特征重建网络的主体由4个连续的残差块级联而成。通过多层残差结构的深入计算，网络能够充分整合拼接后的多模态特征

无下采样特性：最后一层的激活函数使用 Tanh，以确保融合图像的变化范围与输入图像一致 。同时，所有卷积层的填充设置为 SAME 且步长设置为 1，这意味着网络不引入任何下采样，有效避免了融合过程中的信息丢失，确保融合图像大小与源图像一致

7、损失函数

STDFusionNet的损失函数主要由像素损失和梯度损失部分组成。与以往方法不同的是，该方法结合人工标注的显著目标掩膜(Mask)，将这两种损失分别专门应用在显著区域和背景区域上

1）理想融合图像定义：

结合显著目标掩膜Im，理想的融合结果Id被明确定义为红外图像Iir的显著目标与可见光图像Ivi的背景纹理的组合

2）像素损失(Pixel Loss)：

像素损失用于约束融合图像If的像素强度分布与理想图像保持一致。分为显著区域像素损失和背景区域像素损失

3）梯度损失(Gradient Loss)：

梯度损失的引入是为了迫使融合图像包含更清晰的纹理结构以及边缘更锐利的显著目标

4）梯度损失(Gradient Loss)：

该模型在同一区域内平等对待像素损失和梯度损失,定义为背景区域(像素+梯度)损失与显著区域(像素+梯度)损失的加权和

α是用于控制不同区域损失平衡的超参数。正是由于在总损失函数中引入了显著区域损失，STDFusionNet才能在无需额外网络结构的情况下，以隐式的方式检测并提取出红外图像中的显著目标