01 论文信息

• 论文题目： Mask-DiFuser： A Masked Diffusion Model for
  Unified Unsupervised Image Fusion
• 论文作者： Linfeng Tang，Chunyu Li，Jiayi Ma
• 发表单位： 武汉大学电子信息学院
• 发表会议\期刊： TPAMI 2026
• 代码链接： https://github.com/ixilai/UMCFuse

---

02 论文主要贡献

1.提出一种基于掩码图像建模和扩散模型的统一图像融合自监督范式（Mask-DiFuser），通过掩码图像恢复学习互补信息聚合，缓解了图像融合中真实标签缺失的问题；
2.设计了一种嵌入退化因子的新型双掩码策略，模拟有价值的互补信息，同时有望提升融合模型对干扰的鲁棒性；
3.开发了一种融合局部内容和全局语义上下文的掩码扩散模型，通过自监督从自然图像中学习高质量先验，使生成的融合图像更符合人类视觉感知；
4.大量实验表明，该模型在红外 - 可见光、医学、多曝光和多聚焦图像融合任务中均表现优异，尤其在色彩保留、对比度增强和曝光适配方面效果突出。

---

03 论文创新点

1.融合掩码图像建模与扩散模型，将无监督图像融合转化为双掩码图像重建；
2.设计嵌入退化因子的双掩码策略，模拟真实互补信息，提升模型鲁棒性与生成能力；
3.构建局部内容 + 全局语义双分支扩散模型，双分支协同引导，让融合结果更贴合人类视觉感知；
4.实现单模型免微调适配多类图像融合任务，泛化性强，且能提升下游视觉任务性能。

---

04 方法

4.1 问题概述

图像融合的本质是将多幅源图像中的互补关键信息整合为单幅融合图像。但由于不存在真实的融合图像（即真实标签），难以明确定义有意义的互补信息。
为解决该问题，本文提出一种特殊的双掩码策略，模拟有效的互补上下文，将无监督图像融合转化为自监督掩码图像恢复任务（如图 2 所示）；同时引入具备强大生成能力和泛化能力的扩散模型，使该方法能适用于各类图像融合任务。最终，通过自监督学习预训练的掩码扩散模型，可作为多融合任务的统一通用生成器，无需微调。

4.2 基于掩码扩散模型的图像融合

4.2.1 双掩码策略

给定一幅高质量源图像$x_0\in {\mathbb{R}}^{H\times W\times 3}$，传统掩码策略通常通过施加从均匀分布中采样的固定掩码比例（如50%）的随机二值掩码$M$，构建两个互补的掩码图像（$x_A$和$x_B$）(如图 3 (b) 所示)，其数学表达式为：
$$x_A=\mathcal{M}\left(x_0\right)+\overline{\mathcal{M}}\left(x_p\right);x_B=\overline{\mathcal{M}}\left(x_0\right)+\mathcal{M}\left(x_p\right)\text{\hspace{1em}(1)}$$
其中，$\bar{M}$为掩码$M$的逻辑非，$x_p\in {\mathbb{R}}^{H\times W\times 3}$为像素值随机分配的纯随机图像。这种简单的互补信息模拟方式，易导致后续融合模型出现模式崩溃，阻碍信息的有效整合，且忽略了实际成像过程中常见的光照退化、噪声、模糊等退化现象。

为解决上述局限性，本文提出一种新型双掩码策略（如图 3©所示），定义为：
$$x_A={\mathcal{M}}_1^A\left(x_0\right)+{\mathcal{M}}_2^A\left(\mathcal{D}\left(x_0\right)\right)+{\mathcal{M}}_3^A\left(x_p\right)+{\mathcal{M}}_4^A\left(\mathcal{D}\left(x_0\right)\right)$$
$$x_B={\mathcal{M}}_1^B\left(x_0\right)+{\mathcal{M}}_2^B\left(\mathcal{D}\left(x_0\right)\right)+{\mathcal{M}}_3^B\left(x_p\right)+{\mathcal{M}}_4^B\left(\mathcal{D}\left(x_0\right)\right)$$
$$s.t.\{\begin{array}{l}{\mathcal{M}}_1^A\cup {\mathcal{M}}_2^A=\mathcal{M};{\mathcal{M}}_3^A\cup {\mathcal{M}}_4^A=\overline{\mathcal{M}}\\ {\mathcal{M}}_1^B\cup {\mathcal{M}}_2^B=\overline{\mathcal{M}};{\mathcal{M}}_3^B\cup {\mathcal{M}}_4^B=\mathcal{M}\end{array}\text{\hspace{1em}(2)}$$
其中，$\mathcal{D}(\cdot )$为随机退化操作集合，包括高斯模糊、高斯噪声、伽马校正和幅相变换。该设计具有双重作用：一方面，${\mathcal{M}}_2$将非掩码区域的部分像素替换为退化图像块，迫使模型从退化输入中重建高质量内容，提升模型的生成能力；另一方面，${\mathcal{M}}_4$将退化图像块引入掩码区域，促使模型选择性地提取和保留有价值的内容，提升模型的判别能力。最终，通过生成融合了真实退化的互补图像，该双掩码策略能有效模拟真实世界图像融合任务中的各类场景，显著提升通过自监督在合成数据上训练的融合模型的鲁棒性和泛化性。

4.2.2 掩码扩散模型

如图 2 (a) 所示,掩码扩散模型基于条件扩散模型构建，融合了双掩码策略，包含前向扩散过程和反向去噪过程。其核心是在通过马尔可夫链逼近高质量图像分布的同时，学习融合多源图像的互补信息。

前向扩散过程

$$q\left(x_t|x_{t-1}\right)=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I\right)\text{\hspace{1em}(3)}$$
其中，$t\in [1,2,...,T]$为时间步，${\beta }_t$为噪声的方差调度。利用高斯分布的性质和重参数化迭代推导，可将前向马尔可夫过程重新表示为：
$$q\left(x_t|x_0\right)=\mathcal{N}\left(x_t;\sqrt{{\overline{\alpha }}_t}{x}_0,\left(1-{\overline{\alpha }}_t\right)I\right)\text{\hspace{1em}(4)}$$
其中，${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$，${\alpha }_t=1-{\beta }_t$。因此，$t$步的样本$x_t$可直接由$x_0$推导得到：
$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{ϵ}_t\text{\hspace{1em}(5)}$$
其中，${ϵ}_t\sim \mathcal{N}(0,I)$。当扩散时间步$T$足够大时，${\bar{\alpha }}_T$将渐近趋近于0，因此前向扩散过程结束时，$x_T$的分布逼近标准高斯分布$\mathcal{N}(0,I)$。

反向去噪过程

从纯高斯分布出发，以两个互补掩码图像$x_A$和$x_B$为条件，逐步去除噪声以恢复原始数据分布，该过程同样遵循马尔可夫链：
$$p_{\theta }\left(x_{t-1}|x_t\right)=\mathcal{N}\left(x_{t-1};{\mu }_{\theta }\left(x_t,x_A,x_B,t\right),{\sigma }_t^{2}I\right)\text{\hspace{1em}(6)}$$

借鉴现有研究，本文采用去噪网络${ϵ}_{\theta }$预测$t$步的噪声，以逼近均值$\mu$，${\sigma }_t^2$为与时间相关的常数。具体而言，分布参数可表示为：
$${\mu }_{\theta }=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }(x_t,x_A,x_B,t)\right)$$
$${\sigma }_t^2=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t\text{\hspace{1em}(7)}$$
其中，${ϵ}_{\theta }(x_t,x_A,x_B,t)$为去噪网络${ϵ}_{\theta }$以$x_t$、$x_A$、$x_B$和$t$为条件预测的噪声。最终，利用重参数化技巧，可对$x_{t-1}$进行采样：
$$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }\left(x_t,x_A,x_B,t\right)\right)+{\sigma }_{t}z\text{\hspace{1em}(8)}$$
其中，$z\sim \mathcal{N}(0,I)$为标准高斯噪声。

如图 2 (a) 所示，去噪网络${ϵ}_{\theta }$包含三个核心组件：内容编码器$E_c$、语义编码器$E_s$和去噪U-Net$N_d$，前两者用于捕捉局部和全局的条件上下文。

内容分支

引入内容编码器将互补图像转换为融合特征，提供完整的场景表征作为条件。内容分支由特征提取器、注意力并行特征混合器（APFM）和增强模块组成，以$x_A$和$x_B$为输入，生成局部内容条件$F_f\in {\mathbb{R}}^{H\times W\times 64}$，表达式为：
$${\mathcal{F}}_f={\mathcal{E}}_c\left(x_A,x_B\right)\text{\hspace{1em}(9)}$$

首先，特征提取器对$x_A$和$x_B$进行处理，得到特征图$F_A\in {\mathbb{R}}^{H\times W\times 64}$和$F_B\in {\mathbb{R}}^{H\times W\times 64}$；随后将其输入注意力并行特征混合器，通过融合通道和空间上下文评估特征重要性、生成融合权重，实现内容的粗融合（注意力并行特征混合器的详细工作流程如图 2 (b) 所示）；融合后的内容特征经增强模块处理，降低通道维度并生成$F_f$；最后，将$F_f$与$x_t$的特征投影在通道维度上拼接，为去噪U-Net提供局部内容先验。

语义分支

融合卷积神经网络和Transformer，用于提供全局语义先验。具体而言，首先将$x_A$和$x_B$输入共享的语义编码器，得到语义表征$S_A\in {\mathbb{R}}^{H/4\times W/4\times 128}$和$S_B\in {\mathbb{R}}^{H/4\times W/4\times 128}$，表达式为：
$${\mathcal{S}}_A={\mathcal{E}}_s\left(x_A\right),{\mathcal{S}}_B={\mathcal{E}}_s\left(x_B\right)\text{\hspace{1em}(10)}$$

随后，通过交叉注意力机制将$S_A$和$S_B$融入去噪U-Net，为图像生成提供全局语义引导。交叉注意力机制的表达式为：
$$Attention\left({\phi }_i\left(x_t\right),\mathcal{S}\right)=softmax\left(\frac{Q{K}^T}{\sqrt{d}}\right)\cdot V\text{\hspace{1em}(11)}$$
其中，$Q=W_Q^{(i)}\cdot {\phi }_i(x_t)$，$K=W_K^{(i)}\cdot S$，$V=W_V^{(i)}\cdot S$；${\phi }_i(x_t)$为去噪U-Net中第$i$层的中间表征；$W_Q^{(i)}$、$W_K^{(i)}$、$W_V^{(i)}$为可学习的权重矩阵；$d$为缩放因子。为实现多源信息交互，将$Attention\left({\phi }_i\left(x_t\right),S_A\right)$和$Attention\left({\phi }_i\left(x_t\right),S_B\right)$在通道维度上拼接。

最终，融合局部内容和全局语义信息后，噪声估计过程${ϵ}_{\theta }(x_t,x_A,x_B,t)$可通过$N_d(x_t,F_f,S_A,S_B,t)$实现。

4.2.3 损失函数

借鉴现有研究，本文采用扩散损失${\mathcal{L}}_{diff}$训练掩码扩散模型，定义为：
$${\mathcal{L}}_{diff}={\Vert {ϵ}_t-{ϵ}_{\theta }\left(\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{ϵ}_t,x_A,x_B,t\right)\Vert }_2\text{\hspace{1em}(12)}$$
其中，$\Vert \cdot {\Vert }_2$为$l_2$范数。尽管掩码扩散模型可通过自监督学习优化${\mathcal{L}}_{diff}$，逼近分布$p(x_0|x_A,x_B)$，但实际实验中发现，模型生成的图像常存在明显的色彩失真。受相关研究启发，本文进一步引入图像级一致性损失，包括像素损失${\mathcal{L}}_{pix}$、结构相似性（SSIM）损失${\mathcal{L}}_{ssim}$、感知损失${\mathcal{L}}_{per}$和色彩一致性损失${\mathcal{L}}_{col}$。

根据公式(5)，可基于去噪网络${ϵ}_{\theta }$预测的噪声近似估计${\hat{x}}_0^t$，表达式为：
$${\hat{x}}_0^t=\frac{1}{\sqrt{{\overline{\alpha }}_t}}\left(x_t-\sqrt{1-{\overline{\alpha }}_t}{ϵ}_{\theta }\left(x_t,x_A,x_B,t\right)\right)\text{\hspace{1em}(13)}$$

像素损失

定义为估计值${\hat{x}}_0^t$与真实标签$x_0$之间的亮度差异：
$${\mathcal{L}}_{pix}={\Vert {\hat{x}}_0^t-x_0\Vert }_2\text{\hspace{1em}(14)}$$

结构相似性损失

用于保持图像的结构相似性，定义为：
$${\mathcal{L}}_{ssim}=\frac{\left(2{\mu }_{{\hat{x}}_0^t}{\mu }_{x_0}+c_1\right)\left(2{\sigma }_{{\hat{x}}_0^t{x}_0}+c_2\right)}{\left({\mu }_{{\hat{x}}_0^t}^2+{\mu }_{x_0}^2+c_1\right)\left({\sigma }_{{\hat{x}}_0^t}^2+{\sigma }_{x_0}^2+c_2\right)}\text{\hspace{1em}(15)}$$
其中，${\mu }_{{\hat{x}}_0^t}$和${\mu }_{x_0}$为像素均值，${\sigma }_{{\hat{x}}_0^t}^2$和${\sigma }_{x_0}^2$为方差，${\sigma }_{{\hat{x}}_0^t{x}_0}$为协方差，$c_1$、$c_2$为保证数值稳定性的常数。

感知损失

利用VGG网络提取${\hat{x}}_0^t$和$x_0$的深层特征，通过特征差异施加约束，表达式为：
$${\mathcal{L}}_{per}=\sum _l{\Vert {\varphi }_{vgg}^l\left({\hat{x}}_0^t\right)-{\varphi }_{vgg}^l\left(x_0\right)\Vert }_2\text{\hspace{1em}(16)}$$
其中，${\varphi }_{vgg}^l$表示VGG网络的第$l$个卷积层。

色彩一致性损失

通过显式最小化${\hat{x}}_0^t$和$x_0$色彩向量之间的夹角，防止色彩失真，定义为：
$${\mathcal{L}}_{col}=\frac{1}{N}\sum _{i=1}^N\angle \left({\hat{x}}_0^t(i),x_0(i)\right)\text{\hspace{1em}(17)}$$
其中，$x(i)$为图像$x$的第$i$个像素，$\angle (\cdot ,\cdot )$用于计算RGB色彩空间中两个色彩向量的夹角。

最终，掩码扩散模型的总训练损失为上述各损失的加权和：
$$\mathcal{L}={\mathcal{L}}_{diff}+{\lambda }_1{\mathcal{L}}_{pix}+{\lambda }_2{\mathcal{L}}_{ssim}+{\lambda }_3{\mathcal{L}}_{per}+{\lambda }_4{\mathcal{L}}_{col}\text{\hspace{1em}(18)}$$
其中，${\lambda }_1$、${\lambda }_2$、${\lambda }_3$、${\lambda }_4$为控制各损失权重的超参数。

---

05 实验分析

5.1 红外与可见光融合

定性分析表明，Mask-DiFuser 生成的融合结果中行人目标最突出、整体对比度最高、曝光水平最优。具体而言，如图 4 所示，在 MSRS 数据集的夜间场景中，LRRNet、DDFM、U2Fusion 等方法无法有效保留行人的显著性，而 Mask-DiFuser 不仅增强了红外信息，还提升了草坪、道路、建筑等低光照区域的细节，使整个场景更明亮、更易识别；在白天场景中（图 5），Mask-DiFuser 的融合结果同样表现优异，人物目标的显著性和门的纹理细节尤为突出；在 RoadScene 数据集中（图 6），可见光图像的过曝光问题对 U2Fusion、DeFusion 等方法构成挑战，而 Mask-DiFuser 成功修正了源图像的过曝光伪影。

表 1 为 Mask-DiFuser 与其他算法的定量结果，可见该方法在所有评价指标上均保持最优性能：较高的 EN 和 AG 值，以及具有竞争力的 SF 值，表明融合图像有效保留了最丰富的纹理细节；最高的 SD 值证明融合图像的对比度最优；最佳的 PI 值体现了其优异的视觉质量。整体实验结果证实，Mask-DiFuser 能够学习到合适曝光、高清晰度、高对比度等高质量先验信息，进一步强化了其在处理复杂融合任务中的优势。

5.2 消融实验

为验证 Mask-DiFuser 各特定设计的有效性，本文在红外 - 可见光图像融合（MSRS 数据集）和多曝光图像融合（SICE 数据集）任务上开展消融实验，设计六种模型配置：
I. 无内容分支：移除内容编码器；
II. 无语义分支：移除语义编码器；
III. 无注意力并行特征混合器：将注意力并行特征混合器替换为简单的平均加权融合策略进行粗融合；
IV. 卷积神经网络骨干：用卷积神经网络替代扩散模型作为骨干网络；
V. 仅扩散损失：仅使用扩散损失$L_{diff}$训练模型，移除其他图像级一致性损失；
VI. 无退化因子：采用公式 (1) 的掩码策略，不引入退化操作。
如图 18 所示，移除任何核心组件都会导致模型性能明显退化：省略内容分支会使融合结果出现显著的块效应（蓝框标注）；以卷积神经网络为骨干时，模型无法从自然图像中捕捉高质量先验，导致融合图像的视觉效果不够生动；仅使用扩散损失训练网络，会使融合结果出现明显的色彩失真；掩码策略中不引入退化因子，会限制掩码扩散模型的生成能力。表 12 的定量结果进一步证实了这些核心设计的重要性。

---

06 个人声明

本文为作者对原论文的学习笔记与心得分享，受个人学识与理解所限，文中对论文内容的解读或有不够周全之处，一切以原论文正式表述为准。本文仅用于学术交流与传播，内容均由作者独立整理完成，不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议，请及时与作者联系，作者将在第一时间核实并妥善处理。