【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)
1.新颖之处:提出了一种端到端的特征融合注意力网络(Feature Fusion Attention Network),可直接将有雾的图像恢复成无雾图像。算法主线:通道上的权重、各个像素位置处的权重是根据特征的重要程度来分配的。
2.FFA-Net框架结构:
上图为FFA-Net的框架结构图,从整体来看,其为全局残差网络,输入为haze image,经过shortcut与残差网络的主分支进行element-wise sum操作之后得到haze-free image。
FFA-Net的主分支较为复杂,主分支中,从左到右的结构依次为卷积层、Group1 Architecture、Group2 Architecture、Group3 Architecture、前3个Group Architecture输出结果的通道组合、Channel Attention、Pixel Attention、主分支与shortcut进行element-wise sum操作、输出haze-free image。 (注意,原论文中提到的element-wise sum和element-wise product分别为元素对应位置处相加和相乘操作)
每一个Group Architecture结构为上图底部灰色部分,Group结构是由若干个B Basic Blocks Architecture(即图中的B-1、B-2、B-N)和局部残差网络构成。而每一个B基础模块是下图中的结构:
其中,蓝色的为卷积层,黄色的为relu激活层,CA为Channel Attention,PA为Pixel Attention,CA和PA统称为FA(Feature Attention)。从整体来看,B基础模块中依然是由局部残差网络组成。
CA和PA的结构如下所示:
Channel Attention是根据不同通道的特征重要程度学习权重,每个通道的权重不同,但是同一个通道不同像素位置处的权重是一样的。Pixel Attention是根据不同像素位置处的特征的重要程度学习权重,每个通道权重相同,但是同一个通道不同像素位置处的权重不同。我们可以看到Pixel Attention更加注重图像中物体的边缘和纹理以及浓密的模糊区域。
Figure4显示了浓密模糊的图像像素区域、物体的边缘和纹理处有更大的权重,所以PA机制使得FFA网络在高频、浓密模糊的像素区域得到更多的关注。
Figure5中第一幅图片为图像三个通道的像素值分布,第二幅图片为像素值对应的权重大小,所以不同的特征自适应地学习不同的权重。
CA结构详解:
PA结构详解:
更多推荐
所有评论(0)