论文解读--RadarDistill：Boosting Radar-base Object Detection Performance via Knowledge Distillation

奔袭的算法工程师

386人浏览 · 2026-06-11 11:41:58

奔袭的算法工程师 · 2026-06-11 11:41:58 发布

这篇论文提出了RadarDistill——面向雷达3D目标检测的跨模态知识蒸馏框架，核心目标是将激光雷达（LiDAR）的特征知识迁移到雷达模型中，解决雷达数据固有的稀疏、噪声大、分辨率低的问题。

图1. 提出的RadarDistill方法示意图。我们的RadarDistill方法能够实现从LiDAR特征向雷达特征的知识迁移，从而提升用于鸟瞰图（BEV）目标检测的雷达特征质量。

一、研究背景与基础问题

1. 雷达感知的价值与痛点

雷达传感器优势：成本远低于LiDAR，不受雨、雾、强光等恶劣天气影响，可直接获取目标的距离、径向速度信息，是自动驾驶感知的重要冗余传感器。
雷达感知的核心局限：空间分辨率低、点云极度稀疏（非空pillar数量仅为同场景LiDAR的10%左右）、多路径反射导致虚警率高，因此基于雷达的3D目标检测性能长期远低于LiDAR和相机方案。

2. 相关技术基础

雷达3D检测研究现状：现有方案多直接迁移LiDAR检测架构（如图神经网络、混合栅格-点云方法），但未针对雷达特性做优化，性能上限低；雷达-相机/雷达-LiDAR融合方案则依赖多传感器部署，成本更高。
跨模态知识蒸馏（KD）的现有进展：KD的核心是将高性能“教师模型”的知识迁移到轻量化/低性能“学生模型”中，现有跨模态KD方案多聚焦于LiDAR到相机的知识迁移，缺乏针对雷达特性的适配设计，无法直接解决雷达特征和LiDAR特征密度差异大、分布差距大的问题。

二、RadarDistill核心方法设计

整体框架以预训练的LiDAR PillarNet为教师模型，雷达PillarNet为学生模型，仅在训练阶段使用LiDAR分支，推理阶段仅保留雷达分支，不增加部署成本。方法由三个核心模块构成：

1. 跨模态对齐模块（Cross-Modality Alignment, CMA）

解决的问题：雷达特征过于稀疏，大量LiDAR有响应的区域对应雷达的空pillar，导致知识迁移效率极低。
模块设计：采用类U型的多尺度膨胀架构，由下采样块（可变形卷积+ConvNeXt V2）、上采样块（转置卷积）、聚合模块（特征拼接+1×1卷积）构成，通过多层膨胀操作扩展雷达特征的响应区域，输出两个1/8分辨率的稠密化低层级雷达特征，大幅提升非空pillar占比，实现和LiDAR特征的空间对齐。

2. 基于激活的特征蒸馏（Activation-based Feature Distillation, AFD）

作用层级：对CMA输出的低层级BEV特征做蒸馏，缩小雷达和LiDAR低层级特征的分布差距。
核心设计：
1. 基于特征激活值划分区域：对雷达、LiDAR特征分别按“通道求和后是否大于0”生成激活掩码，进一步划分出共同激活区（AR：两者都激活，对应真实目标区域）和雷达独有的激活区（IR：雷达激活、LiDAR未激活，对应雷达噪声/虚警区域）。
2. 自适应加权损失：由于AR区域占比远小于IR，通过自适应权重平衡两个区域的损失：对AR区域赋予更高权重，引导雷达特征向LiDAR特征对齐；对IR区域赋予较低权重，引导雷达抑制噪声响应，避免模型被占比更大的IR区域主导。
3. 最终损失为两个稠密化雷达特征的蒸馏损失的平均值。

3. 基于候选框的特征蒸馏（Proposal-based Feature Distillation, PFD）

作用层级：对高层级BEV特征做蒸馏，优化雷达的目标级感知能力。
核心设计：
1. 基于预测结果划分候选区域：结合雷达检测头输出的分类热图和真值热图，按阈值σ=0.1划分出三类区域：
  - 真阳性（TP）：真值和雷达预测均为目标的区域；
  - 假阴性（FN）：真值为目标、雷达未检测到的区域；
  - 假阳性（FP）：真值为背景、雷达误检为目标的区域。
2. 区域差异化引导：对TP和FN区域，引导雷达特征和LiDAR的目标特征对齐，提升目标检测和定位能力；对FP区域，引导雷达抑制虚警，和LiDAR的低激活特征对齐。
3. 通道归一化：对雷达和LiDAR的高层特征先做通道维度的Softmax归一化，消除两者特征幅值差异对蒸馏效果的影响，再计算L1损失，同样通过像素数量自适应加权平衡不同区域的权重。

4. 总损失函数

总损失由三部分加权构成：

Ltotal=Ldet+γLAFD+δLPFD

其中Ldet是雷达检测模型本身的监督损失，γ、δ是蒸馏损失的权重超参数。

图2. RadarDistill的整体架构。来自各模态的输入点云通过柱状编码（Pillar Encoding）和稀疏编码（SparseEnc）独立处理，以提取低级BEV特征。随后使用CMA对雷达分支中的低级BEV特征进行密集化。AFD基于雷达和LiDAR特征识别出活跃区域和非活跃区域，并最小化其对应的蒸馏损失。接着，PFD基于从密集编码（DenseEnc）中获得的提议级特征进行知识蒸馏。需要注意的是，LiDAR分支仅在训练阶段用于增强雷达流水线，在推理阶段无需使用。

三、实验验证与结论

1. 实验设置

数据集：自动驾驶公开数据集nuScenes，包含700/150/150个训练/验证/测试场景，覆盖10类目标。
评价指标：nuScenes官方指标，包括平均精度均值（mAP）和nuScenes检测得分（NDS），后者综合了定位、尺寸、朝向、速度等多维度误差。
基线模型：以适配雷达的PillarNet-18为基线，训练策略采用CBGS类别平衡采样、常规点云数据增强，雷达检测头采用CenterHead。

2. 核心实验结果

纯雷达检测SOTA性能：在nuScenes测试集上达到20.5% mAP、43.7% NDS，相比之前的纯雷达SOTA方法KPConvPillars，mAP提升15.6%，NDS提升29.8%，其中汽车类别的AP达到54.0%，甚至超过部分纯相机检测方案。
模块消融实验：
1. 仅加入CMA即可让NDS提升2%；如果移除CMA，即使保留AFD和PFD，NDS也会下降4%，验证了CMA是跨模态知识迁移的基础。
2. AFD相比传统的全局蒸馏、基于真值框的前景/背景蒸馏，mAP提升1.3%，NDS提升2.0%；PFD相比传统蒸馏方法，NDS提升1.0%，验证了两级选择性蒸馏的有效性。
3. PFD中的通道归一化操作可让NDS提升2.9%，验证了特征幅值对齐的重要性。
雷达-相机融合适配性：将RadarDistill增强的雷达特征接入雷达-相机融合模型BEVFusion，可实现1.8%的汽车类AP提升、1.1%的NDS提升，证明增强后的雷达特征可直接提升多模态融合方案的性能。

表1. 在nuScenes测试集上的性能评估。雷达仅用模型的最佳指标以粗体标出。“*”表示我们未应用测试时间增强而复现的模型。我们的模型在所有指标上均达到了当前最先进的水平。