1 论文信息

论文题目: SARMAE: Masked Autoencoder for SAR Representation Learning
论文作者: Danxu Liu, Di Wang, Hebaixu Wang, Haoyang Chen, Wentao Jiang, Yilin Cheng, Haonan Guo, Wei Cui, Jing Zhang
所属单位: 北京理工大学 (Beijing Institute of Technology)、武汉大学 (Wuhan University)、中关村实验室 (Zhongguancun Academy)、复旦大学 (Fudan University)
发表会议: CVPR
开源地址: https://github.com/MiliLab/SARMAE.git

2论文主要贡献

2.1.填补数据规模空白

率先构建了首个百万级 SAR 数据集 SAR-1M，并附带成对的光学图像，为 SAR 领域的大规模预训练提供了数据基础 。

2.2 设计抗噪核心模块:

提出散斑感知表示增强 (SARE) 机制，通过将符合 SAR 物理机制的散斑噪声注入掩码自编码器，迫使模型学习抗噪的鲁棒特征，缓解了噪声对特征提取的干扰 。

2.3.提出跨模态监督策略:

提出语义锚点表示约束 (SARC)，利用成对的光学图像作为语义先验来对齐 SAR 特征，保证了语义一致性并加速了模型收敛 。

2.4.卓越的落地性能

在多个 SAR 数据集上，该方法在目标分类、目标检测和语义分割下游任务中均取得了 SOTA 的表现 。

3.论文创新点

3.1.预训练数据创新

现有 SAR 数据集往往存在规模小、语义单一、任务局限的问题 。本文整合了 18 个开源数据集，构建了涵盖 50 多种类别、多种分辨率和传感器的 SAR-1M 数据集，包含 130 万张 SAR 图像和 230 万对“SAR-光学”图像对 。

3.2.掩码重建任务创新 (SARE)

主流方法直接照搬光学图像的重建策略，忽略了 SAR 图像固有的物理相干斑噪声 。本文创新性地在输入端主动增加更严重的物理散斑噪声，逼迫模型在重建掩码的同时进行去噪，从而学到真正剥离噪声的结构特征 。

3.3 跨模态特征对齐创新 (SARC)

考虑到仅靠 SAR 数据训练容易导致语义匮乏，本文引入冻结的光学大模型 (DINOv3) 作为“导师”。在预训练时不要求模型重建光学图像，而是要求 SAR 提取出的特征向量在空间方向上（余弦距离）对齐光学特征向量，借用光学图像的清晰语义来指引 SAR 模型的学习 。

4. 方法

SARMAE 预训练框架整体架构。该框架包含两大分支（1）SAR 分支：整体沿用掩码自编码器（MAE）架构，并搭载斑点感知表征增强模块（SARE），专门处理 SAR 影像与生俱来的斑点噪声；（2）光学影像分支：使用参数冻结的 DINOv3 编码器。
对于SAR - 光学配对影像，模型通过语义锚点表征约束（SARC），将 SAR 特征与语义信息丰富的光学影像特征进行对齐；若为无配对光学影像的纯 SAR 数据，则仅由 SAR 分支完成处理。

4.1 模型整体架构

输入端分为 SAR 分支（接收 SAR 图像并添加人工合成的相干斑噪声）和光学分支（接收对应的光学图像)。

SAR 分支遵循 MAE 架构，对受损的 SAR 图像进行 75% 掩码，可见块送入基于 ViT 的 SAR 编码器 ($E_{SAR}$)，再由解码器 ($D$) 尝试重建原始（未加重噪声的）SAR 图像 。

光学分支将完整的光学图像输入冻结的 DINOv3 编码器 ($E_{OPT}$) 提取高级语义特征。然后进行双目标优化。对于有配对光学的 SAR 图像，模型同时通过 SARE 模块进行抗噪重建，并通过 SARC 模块进行语义对齐；若无配对光学图像，则仅通过 SAR 分支处理 。
总体预训练损失: $${\mathcal{L}}_{pretrain}={\mathcal{L}}_{SARE}+\lambda {\mathcal{L}}_{SARC}$$
(实现中 $\lambda =0.1$) 。

4.2 SARE

该模块的理论基础是物理散斑噪声建模，SAR 的相干斑是乘性噪声，多视强度 $Z$ 服从 Gamma 分布 ：
$$p_Z(z|\overline{I},L)=\frac{L^L}{\Gamma (L){\overline{I}}^L}{z}^{L-1}exp(-\frac{Lz}{\overline{I}})$$
进而，人工加大噪声扰动。将输入的 SAR 图像块 $x$ 视为最佳真实信号估计，利用一个较小的合成视数 $L_{syn}$ 通过 Gamma 分布进行采样，合成出受损更严重的观测值 $x^{\prime }$ 。
然后，进行去噪重建损失。 经过高比例掩码后，利用 MSE（均方误差）计算掩码区域 $\mathcal{M}$ 内模型重构块与原始干净块的差异 ：
$${\mathcal{L}}_{SARE}=\frac{1}{|\mathcal{M}|}\sum _{p\in \mathcal{M}}||D(E_{SAR}({\tilde{x}}^{\prime }){)}_p-x_p|{|}_2^2$$

4.3 SARC

首先，提取参考语义锚点。未掩码的光学图像通过 $E_{OPT}$ 产生完整的锚点嵌入序列： f O P T = { f O P T i } i = 1 N f_{OPT}=\{f_{OPT}^{i}\}_{i=1}^{N} fOPT​={fOPTi​}i=1N​ 。
然后，提取当前 SAR 特征。掩码后的 SAR 图像可见块通过 $E_{SAR}$ 得到特征序列：
f S A R = { f S A R i } i ∈ V f_{SAR}=\{f_{SAR}^{i}\}_{i\in\mathcal{V}} fSAR​={fSARi​}i∈V​ 。
进而，进行余弦距离对齐:。针对所有可见块 $\mathcal{V}$，计算其 SAR 特征与对应位置的光学特征之间的余弦距离并最小化，强制方向对齐 ：
$${\mathcal{L}}_{SARC}=\frac{1}{|\mathcal{V}|}\sum _{i\in \mathcal{V}}(1-\frac{f_{SAR}^i\cdot f_{OPT}^i}{||f_{SAR}^i|{|}_2||f_{OPT}^i|{|}_2})$$

5.实验

5.1.目标分类

表格2：目标分类任务中不同方法的性能对比（Top1准确率，%）

5.2.水平 / 旋转目标检测

水平检测基于 Faster R-CNN，旋转检测基于 Oriented R-CNN

表格3：不同方法在水平与旋转目标检测任务上的性能对比（mAP，%）

5.4.语义分割

表4：多类别与水体类别的语义分割方法性能对比

5.5 消融实验

表5. 在多个SAR数据集上对SARE和SARC的消融实验。
*: 使用ImageNet预训练的MAE进行初始化。

6.结论

SARMAE通过构建百万级SAR-1M数据集以及创新的散斑认知表示增强（SARE）和语义要点表示约束（SARC）机制，成功解决了SAR中现有的预训练方法图像中因相干斑噪声干扰导致的语义匮乏与鲁棒性不足问题，通过将物理抗噪过程与光学语义有机结合，显着提升了模型中多种下游式任务中的表征能力与泛化性能，为遥感领域大规模自监督学习提供了重要的理论与实践范式。