[2024] Point Transformer V3

本文《Point Transformer V3: Simpler, Faster, Stronger》是Xiaoyang Wu在2024年提出了一种名为 Point Transformer V3 (PTv3) 的点云处理模型，旨在通过简化设计、提升效率和扩展性，显著提升3D点云任务（如语义分割和实例分割）的性能。以下是本文的主要内容概括：

解决的任务

本文主要解决了3D点云处理中的以下任务：

• 点云语义分割：在ScanNet、ScanNet200、nuScenes和SemanticKITTI等数据集上进行语义分割任务。
• 点云实例分割：在ScanNet v2和ScanNet200数据集上进行实例分割任务。
• 数据高效性：在ScanNet数据高效性基准测试中，评估模型在有限数据和标注条件下的性能。

此前的技术挑战

1. 点云处理的复杂性：传统的点云处理方法（如KNN）在处理不规则和稀疏的点云数据时，计算复杂度和内存消耗较高。
2. 感受野限制：现有的点云处理方法在扩展感受野时，往往需要复杂的机制，导致模型难以扩展。
3. 效率与精度的权衡：现有的点云处理模型在追求高精度的同时，往往牺牲了计算效率和内存消耗。

解决挑战的关键动机

关键动机：通过简化模型设计，优先考虑效率和扩展性，利用规模效应（scale）提升模型性能，而不是依赖复杂的机制。

点云序列化

技术贡献

1. 点云序列化：提出了一种基于空间填充曲线（space-filling curve）的点云序列化方法，将不规则的点云数据转换为有序序列，保留了空间局部性。
2. 序列化注意力机制：采用窗口和点积注意力机制，结合序列化点云的特性，扩展了感受野并提升了计算效率。
3. 简化设计：通过简化网络结构（如块结构、池化策略等），显著降低了模型的复杂度和内存消耗，同时保持了高性能。
4. 多任务适应性：PTv3在多个3D点云任务（如语义分割、实例分割）中表现出色，展示了其通用性和扩展性。

实验结果

1. 语义分割性能：在nuScenes和SemanticKITTI数据集上，PTv3分别比现有的SOTA模型（如SphereFormer）提升了2.0%和3.0%的mIoU分数。
2. 实例分割性能：在ScanNet v2和ScanNet200数据集上，PTv3作为骨干网络显著提升了PointGroup的性能，mAP提升了4.9%。
3. 数据高效性：在ScanNet数据高效性基准测试中，PTv3在有限数据和标注条件下表现出色，验证了其高效性和鲁棒性。
4. 计算效率：PTv3在训练和推理过程中表现出更低的内存消耗和更快的速度，显著优于现有的点云处理模型（如MinkUNet和PTv2）。

总结

本文通过简化设计、提升效率和扩展性，提出了Point Transformer V3 (PTv3)，显著提升了3D点云处理任务的性能。实验结果表明，PTv3在多个基准测试中均达到了新的SOTA水平，同时保持了较高的计算效率。本文的研究为点云处理领域提供了一种新的设计思路，展示了通过规模效应提升模型性能的潜力。