Feature Guided Masked Autoencoder for Self-Supervised Learning in Remote Sensing

2501_93188624

332人浏览 · 2026-06-13 20:42:52

2501_93188624 · 2026-06-13 20:42:52 发布

01 论文信息

论文题目：Feature Guided Masked Autoencoder for Self-Supervised Learning in Remote Sensing
论文作者：Yi Wang, Hugo Hernández Hernández, Conrad M. Albrecht, Xiao Xiang Zhu
所属单位：慕尼黑工业大学（TUM）、德国航空航天中心（DLR）、慕尼黑机器学习中心（MCML）
发表会议：IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS)
开源地址：https://github.com/zhu-xlab/FGMAE

02 论文主要贡献

该论文提出了一种特征引导的掩码自编码器(FG-MAE)，通过用方向梯度直方图(HOG)与归一化差异指数(NDI)等遥感领域的光谱和空间特征替代原始像素作为重建目标，解决了传统MAE在遥感图像中过度关注像素细节、对噪声敏感且语义理解能力不足的问题，在多光谱与SAR图像的下游任务上实现了性能提升,尤其在EuroSAT-SAR数据集上较MAE提升高达5%，同时验证了该方法的良好可扩展性，并发布了首套面向中分辨率SAR和多光谱图像的预训练视觉Transformer模型。

03 论文创新点

提出了特征引导的掩码自编码器（FG-MAE）框架,摒弃传统 MAE 重建原始像素的方式，改用遥感领域的光谱和空间特征作为重建目标，引导模型学习更具语义的表征，解决了 MAE 在遥感图像中过度关注像素细节、对噪声敏感的问题。
针对不同遥感数据模态设计了差异化的特征重建策略,为多光谱图像设计了 HOG（方向梯度直方图）+NDI（归一化差异指数）的组合重建目标，为 SAR 图像仅使用 HOG 重建，有效适配了不同数据的特性，显著提升了模型在含噪 SAR 图像上的性能。

04 方法

在这里插入图片描述

该图为特征引导掩码自编码器（FG-MAE）的整体架构，其核心创新是将传统 MAE 的原始像素重建目标替换为遥感图像特征，并针对不同数据模态设计了两个分支，左侧为面向多光谱影像的 FGMAE-MS 分支，以方向梯度直方图（HOG）和归一化差异指数（NDI）为联合重建目标；右侧为面向 SAR 影像的 FGMAE-SAR 分支，仅以 HOG 为重建目标，从而引导模型学习更具语义信息的遥感表征。

4.1 目标特征设计

为解决传统 MAE 在遥感图像重建中过度聚焦像素细节、对噪声敏感的问题，本文提出以遥感领域经典人工特征替代原始像素作为自监督重建目标。在保证计算效率与表征能力的前提下，选取两类共四种特征作为候选重建目标，分别为空间特征（Canny 边缘、HOG、SIFT）与光谱特征（NDI）。

4.1.1 空间特征

空间特征旨在捕捉图像的局部结构与纹理信息，对光照、噪声变化具备鲁棒性，是多光谱与 SAR 影像的通用有效特征。

Canny 边缘特征
Canny 边缘检测通过 “高斯滤波降噪→梯度计算→非极大值抑制→双阈值筛选” 流程提取图像中的地物边界，可简化复杂图像、突出目标轮廓，广泛应用于道路、建筑、水体等地物的边缘提取。其优势在于对光照、对比度变化的适应性，可在抑制噪声的同时降低假阳性边缘。在实现上，本文基于可微卷积算子，将 Canny 边缘计算作为模型前向流程的一部分，为每个输入图像通道生成对应的边缘图，作为重建目标。
方向梯度直方图（HOG）
HOG 通过统计局部区域内梯度的方向与幅值分布，以直方图形式表征图像的局部形状与纹理，对几何形变、光照变化具备部分不变性。相比 Canny 边缘仅关注轮廓位置，HOG 同时保留了边缘的方向与强度信息，能够更全面地描述地物局部结构。本文参考 MaskFeat 的实现方式，将 HOG 构建为权重固定的可微卷积模块，每个图像通道输出一组 HOG 特征；掩码块的 HOG 特征被展平为一维向量，作为模型重建目标。
尺度不变特征变换（SIFT）
SIFT 可提取图像中对尺度、旋转、光照变化鲁棒的关键点及对应描述子，在遥感图像配准中应用广泛。但其存在显著缺陷：关键点检测为点级操作，与 ViT 基于图像块的区域化设计适配性差；计算流程复杂，显存开销大，模型学习难度高。本文通过密集 SIFT 计算简化流程，但实验表明其性能弱于 HOG，最终未纳入正式方案。

4.1.2 光谱特征：归一化差异指数（NDI）

NDI 通过量化多光谱影像不同波段反射率的差值，表征地物的物理属性，是遥感地表监测的核心光谱特征。本文选取三类常用指数，计算公式如下：
$\text{NDVI} = \frac{\text{NIR} - \text{R}}{\text{NIR} + \text{R}} \tag{1}$

$\text{NDWI} = \frac{\text{G} - \text{NIR}}{\text{G} + \text{NIR}} \tag{2}$

$\text{NDBI} = \frac{\text{SWIR} - \text{NIR}}{\text{SWIR} + \text{NIR}} \tag{3}$
其中，NIR为近红外波段，R为红波段，G为绿波段，SWIR为短波红外波段。三类指数被逐像素计算后拼接为三通道特征图，作为光谱维度的重建目标，取值归一化至[−1,1]，数值大小直接对应不同地物类型的语义信息。

4.2 FGMAE-MS 与 FGMAE-SAR

基于上述特征的消融实验结果，本文针对遥感领域两类主流数据 —— 多光谱影像与极化 SAR 影像，设计差异化的 FG-MAE 变体，分别为FGMAE-MS与FGMAE-SAR。两个分支均保留 MAE 非对称编码器 - 解码器架构，仅通过重建目标与预测头的修改适配不同数据模态。

4.2.1 通用训练流程与损失函数

本文统一采用 ** 均方误差（MSE）** 作为损失函数，仅对掩码图像块计算重建误差，非掩码块不参与损失迭代，以保障训练效率。损失函数定义为：
$\mathcal{L}_{MSE} = \frac{1}{N_{\text{mask}}} \sum_{i \in \text{mask}} \| p_i - t_i \|_2^2 \tag{4}$
其中， $p_i$ 为第i个掩码块的预测特征， $t_i$ 为对应真实特征， $N_{mask}$ 为掩码块总数量。