《SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection》论文分享（侵删）

不吃香菜葱的程序猿

400人浏览 · 2026-04-21 21:40:25

不吃香菜葱的程序猿 · 2026-04-21 21:40:25 发布

原文链接：https://doi.org/10.1609/aaai.v40i8.37603

author={Yuxuan Li and Xiang Li and Yunheng Li and Yicheng Zhang and Yimian Dai and Qibin Hou and Ming-Ming Cheng and Jian Yang}

摘要

随着遥感技术的快速发展，高分辨率多模式图像的获取越来越广泛。传统的目标检测模型是在单个数据集上训练的，通常限于特定的成像形态和注释格式。然而，这种方法忽略了跨多个通道的宝贵共享知识，并限制了该模型在更多功能场景中的适用性。本文介绍了一种新的遥感任务，称为多模式数据集和多任务目标检测(M2Det)，旨在准确地从任何传感器模式中检测水平或定向目标。由于1)管理多模式建模所涉及的权衡，以及2)多任务优化的复杂性，这项任务带来了挑战。为了解决这些问题，我们建立了一个基准数据集，并提出了一个统一的模型SM3Det(Single Model for Multiple-Moral DataSet and MULT-TASK OBJECT DIRECT)。SM3Det利用网格级稀疏MOE主干来实现联合知识学习，同时为不同的医疗模式保留不同的特征表示。此外，它集成了使用动态学习速率调整的一致性和同步优化策略，使其能够有效地处理不同形式和任务的不同程度的学习困难。广泛的实验证明了SM3Det的有效性和泛化能力，在单个数据集上的表现一直好于专门的模型。

1. Introduction

图1.任务比较：(A)空间对齐的多模式、(B)传统的单一数据集和(C)M2Det。M2Det的目标是利用一个统一的模型来检测任何形式的对象，处理各种检测任务。

遥感目标检测[11、13、14、37、71、74、79、86]通常涉及采用不同成像机制的多个传感器，从而产生不同的数据模式。传统上，检测模型是针对与单个通道和预定义格式检测任务[10、12、40、72]相关联的特定数据集开发的，如图1(B)所示。这一传统方法忽视了统一遥感背景下宝贵的固有联合知识。此外，无人机和卫星等机载平台经常携带多个传感器，因此同时处理来自各种模式的图像至关重要。以前的多源目标检测方法[47，76，83]严重依赖稀缺的、不切实际的和不灵活的空间良好对准的图像和空间对准算法[1，5，15]。这些方法还限于执行单一格式检测任务，如图1(A)所示。因此，必须开发一种能够处理所有模式的统一模型，而不需要空间对齐的图像对和执行多个格式检测任务(在整个论文中被称为“多任务”)，这是没有深入研究的。

为了填补这一研究空白，我们提出了一项新的任务，称为多模式数据集和多任务对象检测(M2Det)。M2Det的目标是检测任何给定图像中的对象，而不考虑其形态，并跨越预定义的检测任务-无论是水平边界框还是定向边界框-如图1(C)所示。

M2Det任务与两个关键研究领域密切相关：多数据集目标检测[63，87]和多任务学习[9，82]。然而，M2Det任务提出了独特的挑战。在传统的多数据集目标检测中，即使图像可能具有不同的属性--如自然图像和绘画--但它们往往具有相似的底层概念(光学概念)。一种简单的联合训练方法是有效的，在组合数据集上训练的单个模型通常比在单个数据集上训练的模型性能更好。相比之下，遥感中的多模式数据集--如RGB[59，65]、SAR[41，78]、IR[60]和多光谱图像[19]--表现出完全不同的模式概念(如图6所示)。虽然某些共同知识可以在这些模式之间共享，但数据表示的显著差异造成了模式之间的巨大差距，使跨模式的信息整合变得更加复杂。此外，遥感数据集通常包括不同的注记类型，如水平[36，41]和定向[60，65]边界框，进一步增加了模型学习的复杂性。

这些挑战可能会在以下方面阻碍传统模型的学习和优化：1)表示限制：在多个任务和模式中共享相同参数的密集模型可能会在表示能力方面遇到限制，因为单一的参数集可能难以有效地适应每个数据集中固有的不同分布。2)优化不一致：不同通道和任务的学习难度不同，可能会导致模型各个组件的优化速度或优化方向不同步。这种不一致可能会导致相互冲突的优化结果，从而对模型实现不同损失目标的能力产生不利影响。

为了应对这些挑战，我们首先通过合并Sardet-100K[41]、DOTA[65]和DroneVehicle[60]建立了一个全面的基准数据集，它们总共涵盖了SAR、光学和红外模式。随后，我们提出了一个适用于遥感M2Det任务的统一模型SM3Det，从模型体系结构和模型优化的角度解决了这些挑战：

模型体系结构：我们建议将即插即用的网格级稀疏专家混合(MOE)体系结构集成到骨干网络中，使模型能够捕获共享知识和特定于通道的表示。通过动态路由，专家对局部空间特征进行操作，使模型能够在网格级别自适应地处理信息，这对目标检测任务至关重要。

模型优化：我们提出了一种新的动态学习速率调整(DLA)方法，该方法通过定制策略自适应地调整不同网络组件的学习速率。DLA通过平衡相对收敛速度和保证最优方向的一致性，适应了不同任务和通道之间不同的学习复杂性。与主要修改减重或梯度的传统技术不同，我们的DLA在保持优化效率的同时，提供了细粒度的控制。

实验表明，我们的统一单一SM3Det模型在所有通道数据集上的性能明显优于所有单独的模型。我们的轻量级SM3Det变种不仅表现出出色的性能，而且参数数量也大大减少。此外，SM3Det模型具有很强的通用性，使其能够适应各种主干和检测器。本文的主要贡献如下：

·提出了一个新的任务：基于统一检测模型的多模式数据集多任务遥感目标检测。

·我们提出了SM3Det模型，该模型从模型体系结构和模型优化的角度提供了创新的解决方案，以应对M2Det任务的挑战。

·在已建立的基准数据集上进行的广泛实验和分析表明，我们提出的单一模型是有效的，并且在所有模式下都优于单独的模型。

2. Related Work

2.1. Multi-Dataset Object Detection

多数据集目标检测的目的是利用不同的数据集集合来学习常识，实现通用的目标检测。在培训中利用多个数据集已被证明是在各种应用程序[31、52、69、70、85]中提高深度学习模型性能的一种非常有效的策略。这种方法在目标检测领域也得到了广泛的探索。例如，DA网络[63]使用专门的SE层[23]，这些SE层充当针对各个数据集的特定于域的注意机制。UneveralRCNN[68]引入了一个跨多个数据集训练的分区检测器，通过一个基于数据集图形的注意模块来集成特征。Unidet[87]提出了统一的标签空间并强调了批量抽样策略的重要性，从而提出了这一概念。

在组合光学概念数据集上训练的模型通常比在单个数据集上训练的模型性能更好，因为多数据集训练可以作为一种强大的数据增强形式。然而，遥感方面的不同成像方式对联合培训提出了独特的挑战。这一地区在很大程度上仍未开发。

2.2. Multi-Task Learning

多任务学习涉及利用单个模型来学习多个目标，通常具有多个任务头和损失函数。在多任务学习中，已经制定了各种策略[9，20，32，55]来解决任务不平衡和优化学习结果。GradNorm[9]专注于通过调整每个任务损失函数的梯度大小来纠正反向传播过程中的梯度失衡。多梯度下降算法[55]和PE-LTR[45]等方法使用Pareto优化进行梯度反向传播，但由于需要额外的梯度计算，它们的效率可能较低。与GradNorm类似，DWA[63]也使用任务损失来评估收敛速度，但它会动态调整每个任务损失的权重。不确定性[32]损失采用不同的方法，将同方差不确定性纳入加权损失函数。

与损失加权或梯度操作不同，该方法动态调整网络组件的学习率，通过保持优化一致性来增强多模式数据集和多任务学习。

2.3. Mixture of Experts (MoE)

MoE[26，27]利用多个专家网络提供丰富的功能。Sparse MoE[56]进一步引入了稀疏性，允许在不显著增加计算复杂性的情况下扩大模型大小。在多任务学习中，稀疏MOE使不同的专家网络能够学习不同的区分性特征。大多数基于稀疏MoE的多任务方法[8，73，73]都植根于变压器体系结构，将专家集成到视觉变压器骨干块中，在推理过程中选择性地激活不同的路径。DeepMoE[48]将稀疏MoE的概念借用到CNN网络中，将每个卷积层中的信道视为专家，通过自适应地稀疏和重新校准信道特征来增强代表性能力。在多数据集学习中，最近的工作[28]在视觉转换器中使用了MOE来将图像级别的特征路由给专门的专家。

然而，用于多模式数据集学习的稀疏MOE在很大程度上仍未被探索。不同于以前实现硬编码的图像级路由的方法[28，63]，我们建议在特征网格级别利用MOE进入骨干网络。这使专家能够有效地提取和处理空间特征，学习共享的表示和不同的模式。

3. Methods

图2.SM3Det模型的概念图。“hbb”：水平包围框，“obb”：定向包围框。
3.1. Task Definition

提出的M2Det任务被设计为利用统一的模型来检测来自任何通道的图像中的感兴趣对象，处理各种预定义的检测任务，例如水平和旋转的边界框。这项任务的意义在各种实际应用中是显而易见的，包括低空经济[24，30]，低空空中监视[4，6]，对地观测[3，35]，以及其他研究领域[2，25，29，33]。例如，配备M2Det型号的无人机和卫星可以充分利用可用的多模式数据，同时受益于简化的版本控制和多个传感器的无缝集成，而不需要对设备进行模型更新。此外，在一个小批量内处理单个模型中不同模式的图像可以最大限度地提高GPU的并行计算能力，从而提高边缘设备的计算和能源效率。

3.2. Methodological Overview

整个网络架构遵循多任务学习模型的经典设计[63，87]。它由相对较重的特征空间共享组件(主干)和相对较轻的特征空间独立组件(任务头)组成。主干负责联合表示学习，大部分参数共享，从而保证参数效率。轻巧的头部是分开的，以适应不同的功能和任务学习。然而，正如第一节所讨论的，通道和任务间隙可能会降低这类经典多任务模型的性能。为了解决这一问题，我们提出了SM3Det模型，该模型由两部分组成：

模型体系结构：稀疏MOE主干，专家在栅格级上激活多通道数据集图像的局部图像特征。

模型优化：一种高效的动态学习速率调整方法，以处理不同的学习难度和多个任务和模式之间的优化不一致。

3.3. Grid-level MoE

以前用于多数据集对象检测的方法[68，87]利用密集模型，该密集模型利用数据集之间的共享概念来增强联合知识表示。在多模式遥感图像的情况下，这种联合知识也存在[41]，尽管它可能不那么明确，具有常见的弱线索，例如跨模式的形状和尺度。然而，由于固有的通道和任务间隙，采用在多个任务和通道中使用相同参数的密集模型会导致拥挤的特征/表示空间，最终降低模型的表现力。因此，有必要探索一种方法，利用不同模式之间的联合知识，同时支持每个模式的不同表示学习，以防止特征空间干扰。

从稀疏MoE网络[56]的成功中得到启发，我们建议利用MoE来执行M2Det任务。对于基于变压器的主干，如SwinTransformer[49]或PVT[62]，我们将MOE专家集成到FFN组件中。对于现代CNN[21，39，50]，通常使用1×1卷积[43]进行特征交互或降维/扩展，我们引入稀疏专家来增强这些层。与以前的基于变压器的探测器不同的是，我们的设计允许专家对主干内的局部网格特征进行操作，而不是通过单个专家[28]来传送整个图像的特征。这种方法确保专家处理不同模式的类似空间模式，促进共享表征学习。同时，多个专家捕获不同的模式，从而实现独立的表征学习。具体地说，对于深度图像特征的第i行第j列的局部空间输入特征xij，Moe层之后的输出特征fMoE(Xij)为：

其中N是专家总数，G是门控函数，Conv1×1n是第n个1×1卷积专家。每个专家都有一个嵌入在矩阵E中的表示。输入特征x首先由矩阵W进行变换。然后将Wx的乘积与嵌入在E中的每个专家进行比较，以计算相似度。然后，这种比较被Wx和E的范数的乘积规格化，确保相似性是尺度不变的。相似性分数通过Softmax函数传递，将其转换为概率分布。这意味着选通函数为每个专家分配一个概率，指示其与输入特征x的相关性。最后，TOPK算子选择具有最高概率的前k个专家。它通过将Softmax概率分配给前k名专家来重新加权每个专家，将其余的设置为零。这一步骤通过只关注一小部分专家来稀疏模型，降低了计算复杂性，并增强了模型的表达能力，以处理不同的任务和模式。

总而言之，是前k名专家的产出的加权总和。权重由门控函数G确定，该函数为每个局部特征动态选择最相关的专家(S)。MOE在主干模型中创建了更稀疏的特征空间。通过关注局部模式，该模型可以独立学习来对多个模态和局部对象模式进行建模。我们的设计有效地解决了拥挤的特征空间的挑战，增强了模型的表现力。

在实际实现中，为了充分利用预先训练的骨干权值，在下游模型微调之前，通过复制相应的预训练1×1卷积层的权值来初始化增加的专家的权值，确保在微调开始时可以均匀地选择所有的专家。对于任务头，我们保持简单，并坚持[32，63，87]中现有的任务头设计。

3.4. Dynamic Learning Rate Adjustment (DLA)

在多模式、多数据集和多任务目标检测任务中，一个主要挑战是不同模式和任务的学习困难[9，32]。这种变化可能导致不同步的优化速率和不一致的优化方向[51]，从而导致不同损失函数之间的目标冲突。为了解决这一问题，我们提出了一种新的动态学习速率调整方法(DLA)来管理不同任务和通道之间的不同学习困难。

DLA以每个任务头的损失为指标，确定当前每个任务的收敛速度和网络的整体优化方向，并相应地调整学习率。具体来说，每个任务头(非共享网络)的LR使用一种策略来平衡每个任务的相对收敛速度，而骨干(具有共享权的网络)使用另一种策略来确保在优化方向上的一致性。

我们将任务t的迭代i的训练损失表示为。每个任务的损失保持一个指数移动平均值(EMA)值作为平滑的历史统计量，表示为，即，

对于头部的LR调整，我们使用his L to cur L的比率作为任务t的迭代I的收敛速度的逆，如下：

然后使用temperature的Softmax θ对相应网络任务头的LR进行重新加权，目的是平衡每个任务的收敛速度。训练迭代i处的任务t的重新加权因子λt i表示为：

其中，T是任务的总数。因此，相对较大的值表示任务t的较快收敛，导致较小的wt i，并因此导致较低的重新加权系数λt i，以防止过快收敛。相反，较小的会导致较大的λt i。这一策略确保了每个任务的收敛速度在整个训练过程中保持平衡。

对于主干的LR调整，重新加权是基于每次损失的历史一致性。为了衡量训练收敛一致性，我们基于定义了一致性分数C。具体地说，首先使用函数P将转换为概率分布，该函数采用简单的Softmax函数：

接下来，计算Kullback-Leibler发散度DKL，以评估每个任务的当前损失是否保持稳定并与其历史值一致：

因此，C在(−∞，1)的范围内。较大的C表示当前迭代损失的相对值与其历史值相似，表明当前一批样本稳定了网络更新。在这种情况下，必须增加LR以使网络更快地收敛。相反，较低的C表示不稳定，这表明与以前的平均状态相比，当前的样本使某些任务更加困难，而其他任务更容易学习。如果网络在这种情况下过于激进地更新共享权重，网络将朝着当前迭代的较难任务的方向进行优化，这可能会损害较容易的任务。因此，网络应该谨慎更新，以减少LR。

为了平衡这一点，我们建议使用以下策略动态重新加权共享权重主干：