一、特征点的提取

特征点提取课题包含提取（detector）和描述（descriptor）两部分。
提取指识别关键点或特征点，描述指对特征点及其周围信息进行量化表达。
本节内容从图像特征点入手，延伸至三维点云特征点的传统方法（如casi co），并介绍基于深度学习的点云特征点提取方法（如model）。

1.图像特征

1) 特征点检测

特征点指图像中关键或显著的点，如角点或特定区域（如向日葵的中心圆）。通常定义为单个像素点（二维图像）或三维点云中的点，但部分方法将区域整体视为特征点。特征点检测（detection）用于定位特征点位置。

2) 特征点的描述

特征点描述将特征点及其周围信息编码为向量（如SIFT描述子）。通过量化局部特征（如梯度方向、强度分布），生成唯一描述符，便于后续匹配。

3) 特征点的匹配

特征点匹配通过比较描述向量（如欧氏距离）建立不同图像中特征点的对应关系。应用包括全景图合成（对齐多张图像）和SLAM（稀疏地图构建）。

4) 应用案例

• 例题:全景图应用

• 全景图合成通过特征点匹配对齐多张图像，结合混合（blending）技术消除曝光差异或镜头畸变。
  
  

• 例题:SLAM应用

基于特征的SLAM（如ORB-SLAM）通过提取稀疏特征点构建三维地图（仅保留显著点，如物体边缘）。定位通过特征点深度估计相机位姿（图中方框），构图生成特征点的三维坐标（稀疏点云）。

2.三维点云特征

三维特征点（如深度学习提取的UC特征点）多分布于结构显著区域（如CAD模型的桌角、激光雷达扫描的墙角）。角点检测是经典方法，但RGB-D数据中可能存在噪声（如平整区域误检）。

1) 配准

特征点可用于点云配准（匹配两片点云）。相比ICP算法，特征点方法对初始位姿要求更低，且适用于重合率较低的场景。特征描述与匹配（第九课内容）是配准的核心步骤。

2) 物体6D定位

刚性物体定位通过匹配模型与场景的特征点，计算6D位姿（旋转+平移）。

3) 数字人驱动

数字人驱动依赖人脸特征点（如嘴角、眼角）的非刚性匹配，将二维视频表情迁移至三维模型。该技术广泛应用于直播与短视频，但需解决姿态与表情变化的挑战。

4) 应用案例

• 例题:点云特征提取应用
  • 特征点可编码空间信息（如核弹排列象征坐标），但需结合具体场景定义特征语义。

3.点云特征检测方法

特征点提取方法包括：

• 二维启发：Harris角点、SIFT、ORB（重点讲解Harris算法）
• 三维原生：ISS（基于点云结构）
• 深度学习：受限于标注数据稀缺（特征点定义模糊）

1) Harris检测器

Harris角点检测核心思想是通过局部窗口（patch）移动评估区域独特性。角点需满足：任意方向移动均导致窗口内容显著变化。

• patch匹配

独特patch需满足：移动后内容变化明显（如角点、交界点）。空白区域因无变化被排除。

• 角点

角点数学定义：若窗口在x/y方向移动均引起强度（intensity）变化，则为角点；仅单方向变化为边缘；无变化为平坦区域。

• 特征点分析：

  • 边缘（Edge）：沿某一方向导数较大（如x 方向），另一方向接近零。
    

  • 平滑区域（Flat）：两个方向导数均接近零。
    

  • 角点（Corner）： xxx和 yyy方向导数均较大，对应特征点。
    

• 通过特征值检测

• 特征值条件：

  • 角点：斜方差矩阵M的两个特征值λ1和λ2均较大。

  • 边缘：仅一个特征值较大。

  • 平滑区域：两个特征值均较小。
    

• 响应函数：通过设定阈值筛选特征点，如取较小特征值作为响应值。

• 响应函数R

方法	公式	特点
1994年原始方法	R=min⁡(λ1,λ2)R	直接取较小特征值作为响应值。
1988年Harris方法	R=det⁡(M)−k⋅trace(M)2R	通过行列式与迹的组合计算响应值，k为超参数（ - 04- - 06）。

• 响应函数选择：不同函数需调整阈值，但核心均为分析M矩阵的特征值分布。
  

• 例题:Harris检测器应用

• 步骤：

  • 计算图像每个像素区域的斜方差矩阵M。
  • 根据响应函数（如Harris方法）生成响应图，红色表示高响应区域。
  • 设定阈值筛选候选角点。

• 问题：初始响应图存在密集冗余点，需进一步优化。

• 非最大值抑制

• 非极大值抑制（NMS）：

  • 选择局部响应最大值点作为候选角点。
  • 抑制其邻域内其他低响应点。
  • 迭代处理直至每个区域仅保留一个特征点。
    

• 应用场景：点云特征提取中同样需使用NMS避免密集冗余点。

二、harris 3d

Harris角点检测原理基于分析图像中小方块移动后像素强度的变化，该问题可转化为分析斜方差矩阵，矩阵元素为每个像素强度关于x和y方向的一阶导数。拓展至三维需解决三个问题：

• 离散点云中如何计算强度关于xyz方向的一阶导数
• 三维空间patch的定义（可通过半径r限定邻域）
• patch移动方式（类比二维情况，增加w维度）
• 核心难点在于三维点云中强度梯度的计算。

1) 例题:平面点移动分析

• 平面点移动特性：当平面沿x、y方向移动时，移动后的点与原平面距离为零；仅沿z方向移动会产生距离。
  

• 斜方差矩阵特征值分析：由三个方向移动距离组成的斜方差矩阵中，两个特征值为零，一个特征值较大，反映仅沿特定方向移动产生距离。
  

三.哈里斯总结

维度	协方差矩阵来源	响应函数	应用场景
二维图像	强度关于xy的一阶导	λ₂	检测图像平面强度变化
3D带强度	强度关于xyz的一阶导	λ₂	识别表面强度非均匀分布
3D无强度	表面法向量	λ₃	检测几何非平面特征
6D混合	坐标+强度一阶导+法向量组合	λ₄	综合强度与几何特征的关键点检测