【无人机微小目标姿态估计】Small-Object-Oriented Pose Estimation With Structural Similarity Constraint

乐乐lelele

387人浏览 · 2026-04-03 16:47:18

乐乐lelele · 2026-04-03 16:47:18 发布

微小目标姿态估计怎么做？一文读懂 SalPose：显著性感知 + 结构相似性约束

论文题目：Small-Object-Oriented Pose Estimation With Structural Similarity Constraint
github链接：https://github.com/LeHan-ZJU/RP-5.7K

论文核心：针对“小目标看不清、关键点难定位”的问题，提出 SalPose，并构建航拍视角大鼠姿态数据集 RP-5.7K。

一、为什么这篇论文值得看？

这篇论文关注的是一个很有现实意义、但过去研究并不充分的问题：微小目标姿态估计（small-object pose estimation）。

在常规人体姿态估计中，人物通常占据图像中较大的区域，关键点纹理、轮廓和肢体结构都相对清晰；但在无人机航拍、远距离行为监测、动物实验观测等场景下，目标往往只占图像中极小的一部分，甚至不足 1%。这时，传统姿态估计模型就会遇到很大困难。论文中提到，大鼠在航拍视角下通常只占整个视野极小面积，而传统关键点误差度量方式对这类小目标非常敏感。

换句话说，同样是 4 个像素的误差，对大目标可能几乎没有影响，但对小目标却可能是“致命偏差”。这正是这篇论文试图解决的核心问题。

二、论文要解决的核心问题是什么？

作者认为，现有姿态估计方法在小目标场景下主要存在两类根本问题。

1. 目标太小，模型“看不清”

小目标本身包含的视觉信息就少，纹理弱、边界模糊，而且极容易受到背景干扰。经过骨干网络多次下采样之后，原本就不大的目标区域会进一步缩小，甚至在特征图上只剩下几个像素点，导致关键点响应混叠。

2. 传统监督方式过于依赖“点对点误差”

无论是热图回归、坐标回归，还是坐标分类，本质上都在优化“预测关键点”和“真实关键点”之间的距离。但对于小目标来说，这种距离型监督对尺度变化极为敏感，稳定性较差。作者进一步指出，虽然单点坐标容易受尺度影响，但关键点之间的整体拓扑结构往往相对稳定，因此更适合作为小目标姿态学习的辅助约束。

三、论文的总体思路：把问题拆开做

这篇论文最聪明的地方在于，它没有把微小目标姿态估计简单理解成“普通姿态估计的困难版本”，而是重新拆解了任务。

作者提出的核心思路是：

先让模型快速感知并锁定小目标区域，减少背景干扰；
再在目标区域内进行关键点预测；
同时引入关键点结构相似性约束，让模型不仅学会“点”，还学会“骨架关系”。

基于这个思路，作者提出了 SalPose，其本质可以概括为：

显著目标感知 + 结构关系约束下的关键点估计

这个设计非常贴合小目标场景，因为它同时解决了“目标难找”和“关键点难学”两个问题。

四、方法详解：SalPose 到底怎么做？

4.1 整体框架：双分支结构

SalPose 使用双分支架构，共享同一个 backbone 特征提取网络。主分支负责关键点热图预测，辅助分支负责显著性区域预测。论文中采用的是 ResNet50 作为主干，后续通过上采样模块恢复空间分辨率。模型结构如图所示，其中可以看到 SDM 和关键点分支同时建立在共享特征之上。
在这里插入图片描述

这个设计的好处很明显：

显著性分支帮助模型快速聚焦小目标；
关键点分支专注于更细粒度的局部定位；
两个分支联合优化，提高整体鲁棒性。

这实际上是一种“先找目标、再估姿态”的轻量级任务解耦思路，但又比传统两阶段检测 + 姿态估计更紧凑。

4.2 显著性检测模块 SDM：先把目标找出来

作者从人类视觉注意机制中获得灵感，引入了一个 Saliency Detection Module（SDM）。这一模块是一个轻量级分支，由共享上采样结构和一个 (1 \times 1) 卷积输出层组成，用来预测显著图。

为什么要加这个模块？

因为对于小目标来说，直接预测关键点太难了。相比之下，“这个区域是不是目标主体”要容易得多。于是作者先让模型学会判断目标显著区域，再把这个区域裁剪出来用于关键点预测，从而减少背景干扰。

显著图怎么来？

论文并没有额外标注显著性真值，而是根据已有关键点自动生成 伪显著图（pseudosaliency map）。作者通过关键点之间的邻接关系构造目标轮廓，再进行区域填充和模糊，从而得到更贴近目标边界的伪显著区域。论文第 3 页图 4 对比了不同生成方式，说明作者的方法比固定顺序连线和最小外接矩形更合理，因为它减少了无关背景区域。
在这里插入图片描述

推理时怎么用？

推理阶段，模型先根据显著图定位目标区域，然后从原图中裁剪对应 patch，并适当扩展边界，最后在该局部区域内预测关键点。这个过程对小目标非常重要，因为它等价于在不改变整体输入分辨率的前提下，提高了目标在局部视野中的相对尺度。

4.3 KSSC：结构相似性约束才是这篇论文的灵魂

如果说 SDM 解决的是“找不准目标”的问题，那么 KSSC（Keypoints’ Structural Similarity Constraint） 解决的就是“关键点学不稳”的问题。

为什么传统关键点损失不够？

因为传统方法通常只最小化单个关键点位置误差，而忽略关键点之间的结构关系。对小目标而言，单点误差会被尺度急剧放大，但头、颈、脊柱、尾巴和四肢之间的拓扑关系其实是相对稳定的。作者正是利用了这一点。

第一步：从热图中恢复坐标

作者首先通过 soft-argmax 从关键点热图中恢复坐标。以 (x_i) 为例，其形式为：

[
x_i=\sum_l \sum_r \frac{e^{\beta h_i[l,r]}}{\sum_m \sum_k e^{\beta h_i[m,k]}}, l
]

其中 (h_i) 是第 (i) 个关键点热图，(\beta = 100) 是缩放因子。(y_i) 的求法类似。

第二步：构造关键点关系矩阵

得到坐标集合后，作者进一步构造关键点两两关系矩阵：

[
M_r[i,j] = \frac{s \cdot p_i \cdot p_j}{|p_i||p_j| + \delta}
]

其中 (s = 1/n)，(\delta) 是防止分母为零的极小常数。这个矩阵刻画的不是单点位置，而是成对关键点之间的关系。

第三步：用矩阵差异定义结构损失

最终结构约束定义为：

[
L_{kssc} = \sum_{i=1}^{{n}\sum_{j=1}}{n} \left|M_r^{{pred}[i,j]-M_r}{gt}[i,j]\right|^2
]

也就是说，模型被要求不仅预测对每个点，还要让整套关键点关系尽可能接近真实骨架。

为什么它适合小目标？

因为作者证明了这个关系矩阵在尺度变化下近似不变。也就是说，如果一个目标整体缩小，但关键点之间的相对结构没有变，那么该关系矩阵仍然保持一致。这个性质恰好使 KSSC 成为一种适合小目标场景的监督约束。

这个设计很有启发性：
它告诉我们，对小目标来说，“学结构”往往比“盯坐标”更重要。

4.4 上采样模块：DOCA 增强特征表达

论文还在上采样阶段设计了 DOCA-based upsampling module。这个模块结合了 DO-Conv 和 CBAM 注意力机制，在恢复分辨率的同时提升特征表达能力。作者指出，引入 DO-Conv 后，可以在推理阶段用单层操作实现更强的多层卷积表达能力，从而减少参数量并兼顾效率。

这部分不算全文最核心的理论点，但它确实支撑了最终性能提升。消融实验也表明，DOCA 模块对 mAP 提升有明显帮助。

4.5 训练目标

SalPose 的总损失由显著性分支和姿态分支共同构成：

[
L = L_{pose} + \omega_s L_{saliency}
]

其中姿态分支损失进一步写成：

[
L_{pose} = \omega_k L_{kssc} + L_{mse}
]

这里：

(L_{saliency}) 是显著图分支的 MSE 损失；
(L_{mse}) 是常规关键点热图监督；
(L_{kssc}) 是结构相似性约束。fileciteturn0file0

从这个式子可以看出，作者并没有完全替代传统热图监督，而是在其基础上引入结构约束。这样的设计比较稳妥，也更符合工程实践。

五、数据集 RP-5.7K：这篇论文的另一大亮点

作者还构建了一个针对性很强的新数据集 RP-5.7K。

5.1 数据集包含什么？

RP-5.7K 共包含 5710 张高分辨率图像，目标是成年 SD 大鼠，采集场景包括：

室外草地、混凝土地面、沥青路面、停车场；
室内迷宫、开放场等实验场景。

图像采集设备包括无人机和固定摄像头，航拍高度在多个区间内变化。作者为每只大鼠标注了 10 个关键点 和边界框，这 10 个点分别覆盖头部、颈部、脊柱中点、尾巴三点以及四肢连接点。

5.2 为什么这个数据集重要？

因为它不是普通动物姿态数据，而是真正面向微小目标设计的。论文第 5 页的统计图显示，RP-5.7K 中目标面积占整幅图像的平均比例 不到 1%，远小于 COCO、AP-10K、TigDog 等常用数据集。

这意味着它更贴近真实的远程监测与航拍应用，也填补了小目标动物姿态数据的空白。

六、实验结果怎么样？

6.1 在 RP-5.7K 上的表现

论文在 RP-5.7K 上对比了多种代表性方法，包括 HRNet、Hourglass、SimCC、DeepPose、U-Net、UFormer、DLC、GM-SCE、SHaRPose 等。结果显示，SalPose 的 PCK@0.2 达到 92.14，优于各类对比方法；在 AP 指标上同样领先，AP50 为 91.90，mAP 为 57.85。

这说明该方法并不是只在某个指标上占优，而是整体性能较强。