目录

1、题目

2、文献信息

3、动机

4、主要工作

1）提出AttentionFGAN网络：

2）设计生成器：

3）设计双判别器：

4）实验评估：

5、核心创新点：

1）双向注意力机制：

2）多尺度特征捕获：

3）首创注意力损失：

4）双判别器对抗：

6、网络架构

1）总体架构

2）生成器架构

3）多尺度注意力网络

4）鉴别器架构

7、损失函数

1）生成器的损失函数

2）鉴别器的损失函数

---

1、题目

“AttentionFGAN: Infrared and Visible Image Fusion Using Attention-Based Generative Adversarial Networks ” 《 AttentionFGAN:基于注意力生成对抗网络的红外与可见光图像融合》

2、文献信息

作者： Jing Li , Hongtao Huo , Chang Li , Renhua Wang, and Qi Feng

出处： IEEE Transactions on Multimedia,VOL.23,2021,1383-1396

链接：AttentionFGAN: Infrared and Visible Image Fusion Using Attention-Based Generative Adversarial Networks | IEEE Journals & Magazine | IEEE Xplore

3、动机

现有红外与可见光图像融合方法中忽略模态间互补差异性、将融合与后续目标检测任务割裂，以及缺乏全面的多模态基准数据集

4、主要工作

1）提出AttentionFGAN网络：

一种端到端红外与可见光图像融合新方法，该方法将多尺度注意力机制集成到了GAN的生成器和判别器中

2）设计生成器：

AttentionFGAN 的生成器由两个多尺度注意力网络(分别对应红外和可见光图像)以及一个图像融合网络组成。注意力网络负责提取源图像的注意力图，以此引导融合网络在重建图像时更加关注源图像的典型区域

3）设计双判别器：

引入了两个独立的判别器，利用Wasserstein距离（WGAN机制）分别区分融合结果与真实的红外图像、可见光图像，从而强制融合结果同时保留两者的强度和纹理信息

4）实验评估：

在TNO、BEPM和OSU三个公开数据集上进行了消融实验以及与六种现有最先进方法（SOTA）的定性和定量对比实验，验证了AttentionFGAN的优势与有效性

5、核心创新点：

1）双向注意力机制：

在生成器和判别器中同时引入多尺度注意力机制，引导网络精准聚焦红外图像的前景目标与可见光图像的背景细节

2）多尺度特征捕获：

设计多尺度注意力网络，利用多尺度空间池化提取特征并自适应分配权重，有效捕获复杂大目标的综合空间信息

3）首创注意力损失：

基于判别器创新性地设计了注意力损失函数，通过惩罚特征图差异，强制融合图像保留源图像的典型注意力区域

4）双判别器对抗：

构建分别对应红外和可见光图像的双判别器架构，避免单一判别器造成的信息流失，同步保留热辐射强度与高分辨率纹理

6、网络架构

1）总体架构

AttentionFGAN 的核心目标是训练出一个强大的生成器，使其能够生成信息丰富且高度逼真的融合图像，逼真到让判别器无法将其与真实的源图像区分开来。整个框架由一个生成器（Generator）和两个判别器（Discriminator_ir 与 Discriminator_vis）组成

2）生成器架构

3）多尺度注意力网络

4）鉴别器架构

7、损失函数

1）生成器的损失函数

2）鉴别器的损失函数

        总损失

        公式等号右侧的前两项代表 Wasserstein 距离的估计值，pir/vis代表红外图像和可见光图像的真实数据分布。最后一项表示用于网络正则化的梯度惩罚项。ϕ被定义为控制惩罚强度的正则化参数