【跨域姿态估计】Cross-Domain Animal Pose Estimation With Skeleton Anomaly-Aware Learning

乐乐lelele

447人浏览 · 2026-03-20 11:44:56

乐乐lelele · 2026-03-20 11:44:56 发布

论文信息

论文题目
Cross-Domain Animal Pose Estimation With Skeleton Anomaly-Aware Learning

作者均来自浙江大学计算机科学与技术学院

论文链接
https://doi.org/10.1109/TCSVT.2025.3557844

Github链接
https://github.com/LeHan-ZJU/UDARP-9.4K

动物姿态估计（Animal Pose Estimation, APE）近年来在神经科学、脑机接口、动物行为分析等场景中越来越重要，但和人体姿态估计相比，这一方向长期受到两个现实问题制约：一是标注数据稀缺，二是不同动物种类、不同采集场景之间存在显著域偏移。尤其当目标体型较小、背景复杂时，模型往往很难直接迁移。论文作者正是围绕这个问题，提出了一种新的跨域动物姿态估计框架 SA2Net，试图从“骨架异常学习”的角度重新定义伪标签筛选问题。此外，论文还提出了一个全新的大鼠姿态估计数据集UDARP-9.4K，共包含 9399 张标注图像，覆盖 5 个实验场景，并带有关键点与检测框标注。

一、论文主要思想

这篇论文的出发点非常明确：现有无监督域适应方法大多依赖伪标签，而伪标签的质量决定了后续迁移训练的上限。已有方法通常通过“位置一致性”来判断目标域预测是否可靠，即把一张图像及其增强版本分别送入模型，如果两次预测的关键点位置足够一致，就把它看成正确预测并作为伪标签。但作者指出，这个准则有一个根本漏洞：如果两次预测犯了同样的错误，它们依然可能表现出高度一致，从而被错误地当成高质量伪标签。这会造成大量 false positive，严重污染后续训练。

因此，论文没有继续在“位置是否一致”上打补丁，而是把问题提升为：我们能不能直接判断一个预测得到的骨架是否“异常”？作者认为，姿态本质上不是一堆彼此独立的点，而是一个有连接关系的骨架图。既然骨架天然是图结构，那么相比欧式空间中的坐标比较，在图空间中建模骨架异常更有希望识别那些“看起来一致、实际上错了”的预测。基于这个想法，作者提出了 Skeleton Anomaly-aware Learning（SAL）机制，让模型学会区分正常骨架和异常骨架；再把这种“异常感知能力”反馈到跨域训练中，用于更精准地生成伪标签，并约束没有伪标签的目标域样本。

换句话说，这篇论文最核心的思想是：**跨域动物姿态估计的关键，不只是做域对齐，而是先学会判断目标域预测出来的骨架到底靠不靠谱。**作者将“伪标签筛选”从简单的位置一致性问题，转化为了“骨架异常识别”问题，这也是整篇工作的理论支点。
在这里插入图片描述

二、核心创新点

1. 首次从骨架异常学习角度重构伪标签生成

论文提出的 SAL 机制，不再仅凭增强前后关键点坐标是否接近来选择伪标签，而是将两组关键点构造成骨架图，并在图空间中学习“正常/异常”分布。这样做的意义在于：模型不仅看点的位置，还看点与点之间形成的结构关系，从而更容易识别那些整体结构不合理的预测结果。

2. 将骨架异常知识反馈到域适应全过程

作者没有把 SAL 当成一个独立的后处理模块，而是设计了 Skeleton Anomaly-feedback based Domain Adaptation（SADA）框架，把骨架异常知识反馈到目标域训练中。一方面，它帮助从目标域中挑出更准确的伪标签；另一方面，对那些没有通过伪标签筛选的样本，也通过图约束进行自监督学习，尽量减少数据浪费。

3. 提出面向小目标、多场景的大鼠姿态数据集 UDARP-9.4K

论文同时构建了一个新的大鼠姿态估计数据集 UDARP-9.4K，共 9399 张图像，覆盖五个实验场景，并带有关键点与检测框标注。作者特别强调，这个数据集填补了“小尺寸动物、多实验场景”姿态数据的空白，适合用于跨场景迁移和动物行为分析研究。

4. 兼顾结构建模与对象特异特征对齐

除了骨架异常学习外，论文还设计了 OSFA（Object-Specific Feature Align）模块，在跨域训练中隐式对齐对象特异特征。作者认为，对姿态估计这种细粒度任务来说，简单做整图级域对齐是不够的，真正重要的是和动物身体结构相关的局部特征。OSFA 通过 cross-attention 强化这种跨域特征交互。

三、方法介绍

在这里插入图片描述

1. 整体框架：SAL + SADA 双阶段协同

整篇方法可以概括为两个核心组件。第一部分是 SAL，用源域标注数据构造骨架图样本对，学习“异常骨架”的判别知识；第二部分是 SADA，把这种知识用于目标域伪标签生成、无伪标签样本约束以及跨域联合训练。

2. 骨架图如何表示

作者把姿态骨架建模成图，其中每个关键点是一个节点。与仅使用坐标不同，论文为每个节点设计了“坐标 + 局部夹角”的特征表示。其定义为：

$M_e^i[j,k] = y_i,\quad 0<j\le 2$

$M_e^i[j,k] = A_i[j-2],\quad 2<j\le 2+C(n_e,2)$

这里前两维表示关键点坐标，后面几维表示与该关键点相连边之间形成的角度。作者强调，角度特征相比距离特征更不受尺度变化影响，因此对小尺寸动物更友好。

从图神经网络角度看，作者还给出了异常信息传播的分析。对于异常节点 $v$ ，其在第 $l + 1$ 层的表示为：

$h_v^{(l+1)} = f_g^l \big(f_{agg}(G^{(l)},v)\big) = f_g^l\left(\sigma\left(\sum_{u\in N(v)} h_u^{(l)} + h_v^{(l)}\right)\right)$

这说明异常节点的信息会在消息传递过程中逐步汇入全局图特征，因此 GNN 对骨架结构异常比单纯欧式空间比较更敏感。

3. SAL 如何学习“正常/异常骨架”

为了训练 SAL，作者并不需要额外人工标注“异常骨架”，而是从源域真实标注出发，通过噪声模拟来构造正负样本对。具体来说，先对源域关键点做几何变换，再向两组关键点加入不同强度、不同模式的噪声。正样本加入小范围随机噪声，负样本则加入更大范围噪声，甚至加入“同步错误”，来模拟增强前后犯同样错误的情况。这样构造出来的样本对，就能逼近真实伪标签筛选时可能遇到的困难案例。

这个设计非常巧妙。因为论文真正想解决的，恰恰不是“两个预测不一致”的普通错误，而是“两个预测一致但同时错了”的伪一致现象。SAL 通过专门构造这类困难负样本，让模型在训练时就学会识别这种伪一致。

4. 目标域伪标签生成

在目标域中，对于样本 $x_t$ 及其增强版本 $M_a(x_t)$ ，先用预训练姿态模型得到两组预测关键点，再交给 SAL 计算骨架相似性分数。论文用如下条件区分有无伪标签的样本：

$x_t \in D_t^p,\quad f_{SAL}(P(x_t),P(M_a(x_t))) > T$

$x_t \in D_t^u,\quad f_{SAL}(P(x_t),P(M_a(x_t))) \le T$

其中阈值 $T = 0.5$ 。通过这种方式，目标域样本被分成“可作为伪标签监督的样本”和“暂时不能直接信任的样本”两类。相比传统位置一致性策略，这种基于结构异常的判断更可靠。

5. 没有伪标签的样本怎么用

很多伪标签方法会丢弃低置信样本，但作者认为这部分数据里仍然包含有价值的对象信息，因此提出图约束项 Graph Constraint Term（GCT）进行自监督学习。

首先，用 soft-argmax 从热力图中获得可微分的关键点坐标，例如横坐标定义为：

$x_i = \sum_l^w \sum_r^h \frac{e^{\beta h_i[l,r]}}{\sum_m^w \sum_k^h e^{\beta h_i[m,k]}}\, l$

然后通过 SAL 计算增强前后预测骨架的相似性，并定义图约束损失：

$LGCT=e−fSAL(y^i,y^i′)⋅[h^−Ma(−a,h^′)]2 L_{GCT} = e^{-f_{SAL}(\hat y_i,\hat y'_i)} \cdot [\hat h - M_a(-a,\hat h')]^2$

这个损失把“热图的一致性”与“骨架结构的一致性”结合起来：若 SAL 判断两次预测在结构上更可信，则一致性约束更有意义；反之则降低其影响。这个设计避免了把明显错误的结构强行拉近。

6. OSFA：做更适合姿态估计的跨域对齐

SADA 中还包含一个 OSFA 模块，它采用双流输入和 cross-attention 机制，隐式对齐对象特异特征。其核心表达式之一为：

$f_{spc}^1 = \text{softmax}\left(\frac{Q_1K_1^T}{\sqrt{d_k}}\right)V_1 \oplus \text{softmax}\left(\frac{Q_1K_2^T}{\sqrt{d_k}}\right)V_2$

这里一部分是域内自注意力提炼，另一部分是跨域交互对齐，最后在通道维拼接。作者的目的不是做粗粒度域混合，而是强化对“动物自身相关区域”的感知。

7. 实验结果说明了什么

论文在 UDARP-9.4K、TigDog 和 AP-10K 三个数据集上进行了验证，覆盖跨场景和跨物种两类任务。结果表明，SA2Net 在多个设定下优于 DANN、DRDA、CC-SSL、MDAMT、ScarceNet 和 CapeFormer 等对比方法；在伪标签质量评估中，SAL 生成的伪标签精度也显著高于传统的 Position Consistency 策略。作者还通过特征聚类展示：在欧式空间中，正负样本容易混淆；在 SAL 学到的图特征空间中，正负样本分布更可分。

这说明作者的核心判断是成立的：对于跨域姿态估计，真正关键的不是单纯比较关键点位置，而是学习骨架结构本身的合理性。

四、总结与展望

总体来看，这篇论文的价值不只在于提出了一个性能更好的模型，更在于它提供了一种新的问题拆解方式。传统跨域姿态估计往往围绕“如何对齐源域和目标域”展开，而这篇论文把关注点前移到了“如何判断目标域预测结果是否可信”上。作者用骨架图建模、异常学习、图约束自监督以及对象特异特征对齐，构建出一条比较完整的技术链条，也使得 SA2Net 在小目标、复杂背景和跨场景设定下表现出较强优势。

我认为，这篇工作的最大启发在于：**对结构化预测任务而言，伪标签质量控制不应只依赖输出层面的数值一致性，而应借助任务本身的结构先验。**在动物姿态估计中，这个结构先验是骨架；在其他任务中，也许可以是时序关系、拓扑关系或语义依赖。论文的思路具有一定可迁移性。

当然，作者也坦率指出了方法的局限：当跨域双方在形态上差异极大时，例如直立行走动物与四足动物之间，已学习到的骨架知识会变得不够适用。这意味着该方法更适合“存在一定结构共性”的跨域迁移，而对极端异构形态的开放域适应仍然不足。未来如果能结合更强的通用视觉先验，或许能进一步提升方法的适用范围。

从未来研究角度看，这项工作至少还有三个值得延伸的方向。第一，进一步处理跨物种极端形态差异，引入更抽象的解剖学或语义先验；第二，把静态骨架异常推广到视频级时序异常感知，在行为分析中会更有价值；第三，将这种“结构可靠性评估”思想迁移到其他关键点任务，例如手势、医学骨架、机器人关节估计等。就这一点而言，这篇论文不仅是一篇动物姿态估计论文，也是一篇关于“如何更聪明地使用伪标签”的论文。