原文链接：https://doi.org/10.1609/aaai.v40i4.37298

author={Xiangqi Chen and Dawei Zhang and Li Zhao and Chengzhuan Yang and Zhongyu Chen and Jungang Lou and Zhonglong Zheng and Sang-Woon Jeon and Hua Wang}

摘要

可见光-红外(RGB-IR)无人机目标检测融合了可见光和红外传感器的互补线索，具有广泛的应用潜力。然而，由于传感器的视差，它仍然面临着弱空间未对准的挑战，这大大限制了它在无人机目标检测中的性能。现有的方法强调严格的配准，忽略了变化光照下的光谱异质性。为了解决这些问题，我们提出了光照引导的隐式比对网络(IGIANet)来缓解没有显式比对的通道异质性。具体地说，我们集成了三个新的模块。首先，我们提出了一种光照制导的频率调制模块，该模块根据全局光照估计自适应地为可见光和红外特征分配融合权重，有效地缓解了变化光照条件下的通道不平衡。其次，我们引入了一种频率导引的跨通道差分增强模块，该模块计算跨频域的差分线索来增强互补信息，并突出弱对齐和低对比度区域。最后，我们介绍了一种隐式对齐驱动的动态融合模块，该模块主动估计偏移量，并生成动态的、位置自适应的融合核来对准和融合模态。广泛的实验表明，IGIANet在各种基准测试上的表现优于最先进的模型，在DroneVehicle上获得了80.9%的MAP，在VEDAI上获得了57.1%的MAP，在FLIR上获得了49.4%的MAP。

一、Introduction

图1：(A)说明了弱对齐问题：红色和黄色方框表示IR和RGB图像中的地面实况注释，显示了明显的空间错位。(B)突出通道失衡：RGB图像提供丰富的颜色和纹理，但在弱照明下会退化，而IR图像缺乏颜色但仍保留结构细节，使目标在微光场景中更清晰。

        无人机(UAV)目标检测因其广泛的应用而受到越来越多的关注，如森林救援(姚，秦，陈，2019；傅等人)。2021年)、交通监测(Shakhatreh等人2019年；Chen等人。2025b)和自动驾驶(Li等人2022b；Chen等人。2024年)。然而，现有的大多数探测器都是为可见(RGB)图像设计的，尽管这些图像具有丰富的颜色和纹理，但在弱光或低能见度条件下往往会显著退化。相比之下，红外(IR)传感器对环境变化的耐用性更强，可以在复杂的场景中有效地运行。因此，基于无人机的RGB-IR目标检测已经成为一种在具有挑战性的环境中提高检测性能的有前途的方法。

        近年来，将红外图像在复杂夜间场景中的结构优势与RGB图像丰富的颜色和纹理信息相结合，旨在实现高效的多模式融合，提高无人机平台上的RGB-IR目标检测性能，是近年来研究的热点。然而，如图1所示，现有方法仍然面临两大挑战(周、陈和曹2020年；袁和魏2024年；陈等人)。弱空间对准：由于RGB和IR传感器成像不同步，同一物体经常出现在两种模式的不同空间位置。这导致了对准误差，进而损害了关键目标区域的准确定位，并损害了检测性能。2.通道不平衡：虽然RGB图像在良好的光照条件下提供了丰富的细节，但它们容易受到光照变化的影响。相比之下，红外图像是光照不变的，可以一致地捕捉到物体的结构特征，但它们缺乏颜色和细粒度纹理(Li等人。2022A)。这些信息内容的内在差异和不平衡给有效的多模式目标检测带来了巨大的挑战。        

图2：RGB-IR弱对齐的不同解决方案图解：(A)采用全局、严格的像素对齐策略。(B)应用基于局部ROI抖动的对准方法。(C)提出了一种结合动态卷积融合策略的隐式比对方法。

        为了应对上述挑战，最直接的策略之一是在检测之前执行RGB和IR图像之间的像素对齐(Chen、Liu和Tan 2021)，如图2(A)所示。虽然这种方法明确地考虑了错位问题，但在随后的特征融合阶段，它没有充分利用模式之间的互补信息。另一项工作重点是局部特征对齐(Zhang et al.2019b)，如图2(B)所示，其中来自一种模式的感兴趣区域(ROI)通过随机扰动或抖动与另一种模式的感兴趣区域对齐。虽然这种方法有一些改进，但它的计算效率较低，可能不太适合基于无人机的实时应用。

        基于上述观察，我们认为一个理想的基于无人机的目标检测的RGB-IR融合策略应该：(1)同时解决空间不对准和形态不平衡问题；(2)避免昂贵的显式配准或复杂的几何监督。为此，我们引入了照明引导隐式比对网络(IGIANet)，如图2(C)所示。具体地说，我们提出了光照制导频率调制模块(IFMM)，该模块从RGB图像中估计全局光照系数，以自适应地重新加权RGB和IR特征。在光线不好的环境中，这种机制抑制了不可靠的通道(例如，在夜间降低RGB权重)，并强调在当前照明条件下携带更多区别性线索的通道。其次，我们设计了频率导引的交叉模式差分增强模块(FG-CMDEM)来突出最容易受到空间错位影响的互补结构细节。它在频域中计算跨模式差分提示，并选择性地增强高频差异，同时抑制共享的低频分量。最后，我们提出了隐式比对驱动的动态融合模块(IADDF)，它通过全局分支和局部分支来预测偏移场。然后，使用栅格采样将IR特征与RGB特征隐式对齐。与以前分别处理对齐和融合的工作不同，IGIANet将照明感知功能平衡、光谱增强和对齐统一到一个由全局照明指导的可区分管道中。

        综上所述，我们的主要贡献如下：

(1)提出了一种基于场景亮度动态平衡RGB和IR通道重要性的原则性光照制导光谱重新定标策略。

(2)一种用于挖掘和放大差异线索的频率制导差异增强机制。

(3)一种隐式配准和动态融合策略，用于有效的通道配准和融合。

(4)在公开数据集上的大量实验证明了该模型的有效性和稳健性。

二、Proposed Method

图3：IGIANet框架概述，集成了对手感知光照明模块(OLIM)、照明制导频率调制模块(IFMM)、频率制导跨模差分增强模块(FG-CMDEM)和隐式对准驱动动态融合模块(IADDF)，用于基于无人机的RGB-IR目标检测。

        总体架构如图3所示，我们提出了IGIANet，这是一个统一的框架，通过四个紧密耦合的模块逐步增强RGB-IR功能融合，每个模块旨在解决照明变化和空间对齐下通道失衡的一个特定方面。首先，对手感知光照模块(OLIM)从对手颜色和亮度线索中获得全局光照权重图，然后IFMM利用该图在频域中平衡光谱响应。接下来，FG-CMDEM通过计算差分频率线索来补充和融合跨模式信息。最后，IADDF通过双分支对位置感知偏移量进行预测和采样，以使IR特征与RGB特征对齐，并生成用于自适应融合的动态、补丁状核函数。

Opponent-aware Light Illumination Module

        为了在不同的光照条件下稳健地指导频率调制和对准，捕捉颜色偏移和亮度变化是必不可少的。颜色对立性突出了场景照明引入的颜色不平衡，而感知亮度编码了整体亮度。因此，我们设计了OLIM来生成光照感知权重。

        给定输入RGB图像I∈R3×H×W，H和W表示输入图像的高度和宽度，我们计算两个相反的颜色通道o1和o2：

        

        其中，R、G和B分别表示红色、绿色和蓝色通道。同时，将RGB图像I转换到LAB颜色空间，对L通道进行归一化处理，提取感知亮度通道L。

        

        其中，LabL∈[0,100]是亮度分量。这些通道被串联以形成初始图像ˆi，该图像有效地捕获了颜色对比度和亮度分布。

        

        其中[；]是合并运算。随后，如公式4所示，我们应用几个卷积块进行下采样和特征提取，最后使用Sigmoid激活来产生光照权重图Willum。

        

        其中σ是sigmoid。

Illumination-Guided Frequency Modulation Module

        IFMM在光照的指导下，自适应地平衡和增强频域中的RGB和IR特征。给定输入的RGB特征Frgb、IR特征FIR和每个像素的照明权重贴图Willum，我们首先对Willum进行归一化和平滑，以确保它位于的范围内。然后，我们计算互补权重：

        

        其中，Convg表示与C基团的卷积，⊗表示矩阵乘积。这些权重沿通道维度C广播，并通过分组的1×1卷积应用于特征。随后，通过逐个元素的加法将加权的FRGB和FIR特征组合，以获得Fsum：

        

        然后，我们将通道注意力(Hu、Shenin和Sun 2018)应用到Fsum，以执行通道级特征聚合，产生聚合特征Z，该聚合特征Z捕获跨通道的全局语义信息：

        

        其中Attn表示信道占用。接下来，我们对Z应用1×1卷积和SIU激活，生成两组调频权重Argb和Air，用于增强Frgb和FIR特征的频率分量：

        

        具体地说，调制特征F˜RGB和F˜IR分别与其对应的权重ArGB和AIR一起被馈送到动态滤波器中。这些滤波器在频域中执行加权的2D DFT-IDFT运算，从而实现位置自适应频谱重建，以动态补偿照明引起的响应差异：

        

        其中F{·}和F−1{·}分别表示2D离散余弦变换(2D DCT)及其逆(2D IDCT)；Am(u，v)是对应的频域调制权重映射。这使得调频更有针对性，在强调区别性信息方面更有效。通过将光照校正嵌入到频域权重的生成中，IFMM不仅纠正了空间域中的光照偏差，而且确保了光谱重建过程基于光照条件聚焦于弱光区域，从而显著增强了特征的稳健性。

        Frequency-Guided Cross-Modality Differential Enhancement Module

        FG-CMDEM旨在补充和增强调频RGB和IR特征之间的跨模差分信息，如图3所示。与之前在全球应用基于频率的增强方法不同，我们的FG-CMDEM在频域中唯一地计算跨模差分线索，从而实现有针对性的结构增强。

        设为红外和红外分支经过IFMM处理后的特征映射。为了有效地捕捉不同通道之间的光照差异，我们首先使用二维DCT将这两个通道特征转换到频域，如下所示：        

        

        对于每个通道m∈{rgb，ir}，我们然后在频域中计算逐个元素的差值：

        

        其中m表示相反的情态。接下来，使用平均合并将Fm和Fm d都按S的系数进行下采样：

        

        为了生成注意基元，差值映射F‘d m经过两个1×1卷积，这两个1×1卷积将其通道维度从C降低到CQ=C/S，产生查询Qm d∈RCq×H’×W‘和关键字。同时，通过对F‘m应用1×1卷积来生成值。所有这些都被重塑为长度N=H’×W‘的序列，并用于注意力计算：

        

        其中，FFN表示前馈网络，⊕表示与原始空域特征的残差相加。所提出的FG-CMDEM是一种跨模式注意机制，通过显式差异驱动的融合来融合不同的模式，因为RGB-IR图像具有不同的亮度差异，不能通过简单的相加来解决。

        Implicit Alignment-driven Dynamic Fusion Module

        如图3所示，建议的IADDF主要用于解决RGB和IR图像之间的弱对齐问题。该算法首先利用像素级隐式偏移量对红外特征进行空间校正，然后生成动态卷积核对齐后的双峰特征进行自适应融合，最后将融合后的输出投影回原始通道维度。为了稳健地估计空间对齐偏移量，我们采用了双分支偏移量估计模块，该模块由基于MLP的全局分支和卷积局部分支组成。具体地说，给定输入注意特征，我们首先生成归一化坐标映射，并将每个像素的空间坐标(xi，yi)与其rgb和IR特征连接：

        

        此张量通过两层MLP来估计像素偏移量：

        

        同时，在卷积分支中，我们将RGB和IR特征连接在一起，并应用3x3卷积：

        

        将两个偏移贴图相加，以获得最终位移场：

        

        然后在双线性采样(GridSample)中使用它来对齐IR特征：

        

        接下来，我们将连接对齐的IR和原始RGB特征：

        

        对于每个空间位置i，其串联的特征向量被馈送到另一个MLP以预测动态卷积核权重：

        

        在批量归一化和激活后，这些权重被重塑为位置特定的核映射W∈r1×H×W×k×k。同时，FCAT被展开为局部块。每个位置i与其对应的核进行卷积：

        

        最后，1×1卷积降低了通道维度：

        

        我们采用隐式比对和两个偏移量估计分支：全局MLP分支捕获大规模比对偏差，局部卷积分支确保平滑、细节一致的偏移量。它们的组合实现了粗略的全局校正和精细的局部调整，以实现精确的RGB-IR对准。

Experiments

        

        表1：无人机数据集的比较。我们将我们的IGIANet方法与单模和多模方法进行了比较，两者都使用定向包围盒(OBB)作为检测头。最好的结果以粗体突出显示，次佳的结果以下划线突出显示。

        如表1所示，我们提出的IGIANet有效地解决了弱比对问题，并实现了RGB和IR特征的有效融合，显著提高了检测性能。我们将我们的方法与包括R3Det(Yang等人)在内的各种单峰目标检测方法进行了比较。2021)、S2ANet(han et al.2021)，更快的R-CNN(任等人2016)，RetinaNet(Lin等人2017)和RoITransformer(Ding等人2019年)。IGIANet的性能始终优于这些单通道检测器，在MAP中分别比性能最好的RGB或基于IR的方法高11.5%和17.3%。比较了各种先进的多模式方法，包括DMM+更快的R-CNN(周等人)。2025)，C2 Former(袁和魏，2024)，SLBAF-Net(程等人2023)、CoDAF(宗珍等人2025)、MBNet(周、陈、曹2020)、慈安(张等2019a)，以及TSFADet(袁，Wang，魏，2022)，我们的方法取得了优越的性能。具体地说，IGIANet在MAP上的性能分别比DMM+更快的R-CNN和CoDAF高3.7%和2.3%。这些结果证明了我们所提出的方法的有效性，也凸显了单通道方法在多通道目标检测任务中的局限性。