CVPR|2025|RCTDistill:基于时间融合的雷达—相机三维目标检测跨模态知识蒸馏框架

• 论文：https://arxiv.org/pdf/2410.00871
• 会议：CVPR
• 年份：2025

背景

雷达 - 相机融合是自动驾驶 3D 目标检测的低成本方案，但性能始终落后于激光雷达（LiDAR）基方法，核心瓶颈在于 BEV（鸟瞰图）特征存在空间错位与时间错位。

现有方法的局限

核心挑战

1. 传感器不确定性：相机深度估计模糊、雷达水平定位精度低，融合时难以抵消两者固有误差；
2. 时间特征错位：动态目标独立运动导致多帧 BEV 特征对齐困难，传统时间融合需复杂运动估计，增加延时；
3. 特征判别性不足：雷达 - 相机融合模型难以像激光雷达模型那样清晰区分前景目标与背景

• 基线模型的预测框与静态 GT（绿色框）存在明显偏移，部分目标甚至出现 “漏检” 或 “定位偏差过大”。
• 基线模型对动态 GT（红色框）的预测框出现 “拖影” 或 “位置滞后”，与真实运动轨迹偏差较大，甚至误将运动轨迹判定为多个目标。
• RCTDistill 通过在距离-方位方向上对齐空间特征以及在动态物体轨迹上对齐时间特征，提高了 BEV 特征的三维目标检测质量。

方法

• 教师模型，基于 LiDAR 的 CenterPoint 检测器，输出低维（BlowL）和高维（BhighL）BEV 特征，作为知识来源。
• 学生模型，基于改进 BEVFusion-R 的雷达 - 相机融合模型，接收雷达 + 相机输入，经多阶段处理输出检测结果。
  雷达骨干网络（Radar Backbone），提取雷达原始数据的特征，为 BEV 转换提供基础
• 门控模块（Gating Module），自适应融合雷达与相机的低维 BEV 特征，动态调节两模态权重（替代传统 1×1 卷积）。本质是一个 “权重生成器”，输出范围通常在 [0,1]（通过 Sigmoid 激活），用于对输入特征 X 进行逐元素加权
• 记忆库（Memory Bank），存储历史帧的低维 BEV 特征（Bt−N−1 Bt−1），支持时间融合，通道维上拼接
• HA-Net（Historical Alignment Network），将 “历史 BEV 特征” 与 “当前 BEV 特征” 做时间聚合。

1.时间融合方法旨在通过结合过去帧的额外信息并将其与当前特征融合，从而弥补单时刻可能遗漏的信息来提升性能。
2.三大 KD 模块（RAKD/TKD/RDKD），分别在低维特征、时间聚合特征、高维特征阶段，实现师生模型知识对齐
3.图中紫色（Teacher）、黄色（Student）特征图里，不同红色区块（代表不同目标）之间的虚线箭头，对应 “同一帧中多个目标的特征区分关系”—— 比如两个相邻目标的特征需要有足够差异，避免混淆，RDKD 会让 Student 学习 Teacher 中这种 “不同目标间的特征区分度”。

RAKD 和 TKD 的椭圆高斯掩模区域。RAKD（中间）和 TKD（右侧）区域的椭圆掩模用于知识蒸馏，分别针对距离-方位不确定性和时间错位。

RAKD-距离方向角蒸馏

$$r_1^i=l^i\cdot {\left(\frac{{\alpha }_l}{l^i}\right)}^{\beta },r_2^i=w^i\cdot {\left(\frac{{\alpha }_w}{w^i}\right)}^{\beta },\text{\hspace{1em}(1)}$$

含义

• 第i个 GT 目标的长度 / 宽度；
• 距离归一化系数，用于平衡不同距离下的掩码尺度。核心是把距离值映射到固定范围（通常是 [0,1]）
• 超参数，分别控制 “距离对长度方向半径”“距离对方位方向半径” 的影响
• 根据目标的尺寸、与自车的距离，动态确定椭圆高斯掩码的长半轴，短半轴。
  使用这些参数，我们生成第i个GT框在位置（x，y）处的椭圆高斯掩膜 E

$$E_{i,x,y}=\exp \left(-\frac{1}{2}\left(\frac{(x^{\prime }{)}^2}{(r_1^i{)}^2}+\frac{(y^{\prime }{)}^2}{(r_2^i{)}^2}\right)\right),\text{\hspace{1em}(2)}$$

含义：

• 位置(x,y)相对于 GT 中心的局部坐标（经公式 3 的朝向对齐变换后）；
• 公式 1 计算的椭圆长 / 短半轴。
• 特点：相机中的深度模糊和雷达中的距离-方位不确定性。高斯掩码应用的是从物体中心均匀递减的权重，这使得其难以适应每种模态的独特分布。椭圆的形状由距离和方位方向上的固有不确定性决定
  -** 生成第i个 GT 目标在位置（x,y）处的椭圆高斯掩码值，用于限定蒸馏的区域**
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}\cos {\theta }^i& -\sin {\theta }^i\\ \sin {\theta }^i& \cos {\theta }^i\end{array}\right]\cdot \left[\begin{array}{c}x-p_x^i\\ y-p_y^i\end{array}\right].\text{\hspace{1em}(3)}$$

含义：

• 核心作用：将像素坐标系下的位置(x,y)，转换为 “以 GT 中心为原点、对齐目标朝向” 的局部坐标系下的偏移量(x’,y’)。
• 算法意义：目标存在朝向差异（如横向 / 纵向车辆），通过旋转坐标，让椭圆掩码的方向与目标实际朝向一致，确保掩码能精准覆盖目标区域，避免因朝向错位导致的蒸馏区域偏差。

$$L_{\text{RA}}=\frac{1}{|N_{\text{RA}}|}\sum _{j=1}^H\sum _{k=1}^W{W}_{\text{RA},j,k}{\Vert B_{\text{low},j,k}^{\text{L}}-{\bar{B}}_{\text{low},j,k}^{\text{RC}}\Vert }_2,\text{\hspace{1em}(4)}$$

公式 4：RAKD 损失函数

• 蒸馏掩码中非零元素的数量（即有效蒸馏区域的像素数）
• $W_{\text{RA},j,k}$：融合所有 GT 椭圆掩码后的蒸馏掩码（取最大值实现掩码融合）
• $B_{\text{low}}^{\text{L}}$：教师模型的低维 BEV 特征；${\bar{B}}_{\text{low}}^{\text{RC}}$：学生模型低维 BEV 特征（对原始特征 $B_{\text{low}}^{\text{RC}}$ 应用 1×1 卷积，获得的经通道匹配后的结果）。
• ${\bar{B}}_{\text{low}}^{\text{RC}}$：学生模型低维 BEV 特征（对原始特征 $B_{\text{low}}^{\text{RC}}$ 应用 1×1 卷积，获得的经通道匹配后的结果）。
• 算法意义：让学生模型在雷达 - 相机误差敏感的区域，精准对齐教师 LiDAR 的高保真空间特征，修正传感器不确定性导致的 BEV 特征空间错位

公式5 TKD-时间知识蒸馏

为动态目标（如运动的车辆 / 行人）构建时序掩码，并通过损失函数让学生模型的时序特征与教师模型对齐

$${\hat{\mathbf{p}}}^i=\{\begin{array}{ll}{\mathbf{p}}^i-\frac{t_s}{2}{\mathbf{v}}^i,& \text{if }{\Vert {\mathbf{v}}^i\Vert }_2^2>{\tau }_v\end{array}\text{\hspace{1em}(5)}$$

${\mathbf{p}}^i$第i个动态目标的当前中心；

$t_s$：选择的时序持续时间（小于历史轨迹总时长）

${\tau }_v$：速度阈值，判断是否快速移动

作用：当目标速度超过阈值时，将椭圆掩码的中心向 “速度反方向” 偏移，让掩码能覆盖目标的历史运动轨迹（而非仅当前位置），适配动态目标的轨迹范围。

$${\hat{r}}_1^i=l^i+\sqrt{({\hat{p}}_x^i-p_x^i{)}^2+({\hat{p}}_y^i-p_y^i{)}^2}\text{\hspace{1em}(6)}$$
$${\hat{r}}_2^i=w^i,\text{\hspace{1em}(7)}$$
$$T_{i,x,y}=\exp \left(-\frac{1}{2}\left(\frac{(x^{\prime \prime }{)}^2}{({\hat{r}}_1^i{)}^2}+\frac{(y^{\prime \prime }{)}^2}{({\hat{r}}_2^i{)}^2}\right)\right),\text{\hspace{1em}(8)}$$

$$\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\end{array}\right]=\left[\begin{array}{cc}\cos {\theta }^i& -\sin {\theta }^i\\ \sin {\theta }^i& \cos {\theta }^i\end{array}\right]\left[\begin{array}{c}x-{\hat{p}}_x^i\\ y-{\hat{p}}_y^i\end{array}\right].\text{\hspace{1em}(9)}$$

$$L_T=\frac{1}{|N_T|}\sum _{j=1}^H\sum _{k=1}^W{W}_{T,j,k}{\Vert B_{\text{low},j,k}^{\text{L}}-{\hat{B}}_{\text{low},j,k}^{\text{RC}}\Vert }^2,\text{\hspace{1em}(10)}$$

W：时序掩码的有效区域（取多个椭圆掩码的最大值，再过滤出大于阈值(\tau)的区域）；

RDKD-区域解耦知识蒸馏

$$S_{jk}^{\text{RC}}=\frac{{\mathbf{f}}_j^{\text{RC}}\cdot {\mathbf{f}}_k^{\text{RC}}}{\Vert {\mathbf{f}}_j^{\text{RC}}{\Vert }_2\Vert {\mathbf{f}}_k^{\text{RC}}{\Vert }_2},\text{for }j,k=1,2,\dots ,K,\text{\hspace{1em}(11)}$$

• 求余弦相似度函数

• f：高层特征图输入检测头，生成分类得分图，取 “所有类别得分中的最大值”，得到置信度得分图，设定一个阈值，大于阈值共K个，对应位置上提分类得分图，得到向量。

$$L_{\text{RD}}=\frac{1}{|K^2|}\sum _{j=1}^K\sum _{k=1}^K|S_{jk}^L-S_{jk}^{\text{RC}}|.\text{\hspace{1em}(12)}$$

总Loss

$$L_{total}=L_{det}+{\lambda }_{\text{RA}}{L}_{\text{RA}}+{\lambda }_{\text{T}}{L}_{\text{T}}+{\lambda }_{\text{RD}}{L}_{\text{RD}},\text{\hspace{1em}(13)}$$

实验

• RCTDistill与现有相机-雷达融合及纯相机3D 目标检测器在nuScenes验证集和测试集上的表现。

• 在测试集上，本方法超越所有现有雷达-相机融合 模型。

• RCTDistill在所有评估配置中均实现了最高的推理速度

消融实验

• 对比不同模块区域的KD

• 对比现有时间蒸馏方法

• 对比传统知识蒸馏（整个区域）