【开放集检测OSR】RPL(Reciprocal Point Learning)、ARPL和ARPL+CS 概念辨析
一、RPL(Reciprocal Point Learning)
在开放集检测中,RPL(Reciprocal Point Learning)方法旨在识别出不属于任何已知类别的开放集样本。
RPL方法基于以下原则:开放集样本与已知类别之间的差异性较大,因此可以通过寻找一个特殊点来表示这种差异性。
核心思想
RPL方法的核心思想是学习一个互补点(reciprocal point),该点在特征空间中代表与已知类别的“其他性(otherness)”。
- 互补点被设计为与已知类别的特征分布相反或互补的特征表示。
训练阶段
在RPL方法中,训练阶段通过使用已知类别的样本来学习互补点。一种常见的方法是最小化已知类别样本与互补点之间的距离,同时最大化已知类别样本与其真实类别中心之间的距离,以确保互补点能够有效地表示“其他性”。
测试阶段
在测试阶段,对于一个待分类的样本,可以计算其与互补点的距离。
- 如果样本与互补点的距离较大,那么它被认为是开放集样本,不属于任何已知类别;
- 如果样本与互补点的距离较小,则说明属于已知类;
根据定义,开放集样本与互补点之间的距离应该相对较大,因为互补点代表了与已知类别的差异性。
二、ARPL
ARPL : 在计算特征距离时同时考虑欧氏距离和余弦距离来扩展RPL(互补点学习)方法。
在ARPL中, S ( y ∈ C ∣ x ) S(y ∈ C|x) S(y∈C∣x) 的计算基于图像与任何互补点之间在特征空间中的最大距离。这个距离是通过结合欧氏距离和余弦距离计算得到的。
- 欧氏距离衡量特征空间中两个点之间的直线距离,
- 余弦距离衡量两个特征向量之间的角度差异。
S ( y ∈ C ∣ x ) = m a x y ∈ C ( d e ( x , y ) + d c ( x , y ) ) S(y ∈ C|x) = max_{y∈C} (d_e(x, y) + d_c(x, y)) S(y∈C∣x)=maxy∈C(de(x,y)+dc(x,y))
通过考虑这两种距离,ARPL旨在捕捉图像与互补点之间的不同相似性或差异性。最大距离表示图像与任何互补点之间最大的差异性,表明存在开放集样本的可能性。
三、ARPL+CS
ARPL + CS (Chen et al., 2021)是对ARPL方法的扩展,通过引入 “混淆样本”(confusing samples) 来模拟“未知类别”样本。
学习数据的潜在表示,使得相似样本在 潜在空间 中更接近,而不相似样本则更远离。为了实现这一目标,ARPL+CS方法通过引入混淆样本来增加训练数据的多样性。
混淆样本
如何生成: 通过对原始样本进行扰动或变换而生成。这些扰动可以是像素级别的扰动,也可以是对输入进行旋转、缩放、平移等几何变换。通过在训练过程中将混淆样本与原始样本一起使用,模型被迫学习到对这些扰动具有鲁棒性的表示。
目的
用于代表“未见过的类别”样本。引入对抗性扰动,以增强模型的鲁棒性和泛化能力。
作用
-
增加数据多样性:混淆样本通过引入扰动,使得训练数据更加多样化。这有助于模型学习到更丰富的数据表示,提高对不同变化和变体的泛化能力。
-
鲁棒性训练:通过训练模型对混淆样本进行区分,模型被迫学习到对扰动具有鲁棒性的表示。这有助于提高模型对输入变化、噪声和干扰的鲁棒性。
-
对抗性学习:混淆样本的引入可以看作是一种对抗性学习的方式,模型需要学习将原始样本与混淆样本区分开来。这使得模型能够更好地区分相似和不相似的样本,从而更好地学习到数据的潜在结构和表示。
更多推荐
所有评论(0)