[论文解读] PointHR: Exploring High-Resolution Architectures for 3D Point Cloud Segmentation

Haibo Qiu, Baosheng Yu+2 more|arXiv (Cornell University)|Oct 11, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

PointHR 提出了一种用于 3D 点云语义分割的高分辨率架构，通过使用基于 kNN 的序列操作符和可微分下采样操作符，在统一的流水线中保持多尺度特征。通过预计算特征操作的索引，它在 S3DIS 和 ScanNetV2 上实现了显著降低计算成本的最先进性能。

ABSTRACT

Significant progress has been made recently in point cloud segmentation utilizing an encoder-decoder framework, which initially encodes point clouds into low-resolution representations and subsequently decodes high-resolution predictions. Inspired by the success of high-resolution architectures in image dense prediction, which always maintains a high-resolution representation throughout the entire learning process, we consider it also highly important for 3D dense point cloud analysis. Therefore, in this paper, we explore high-resolution architectures for 3D point cloud segmentation. Specifically, we generalize high-resolution architectures using a unified pipeline named PointHR, which includes a knn-based sequence operator for feature extraction and a differential resampling operator to efficiently communicate different resolutions. Additionally, we propose to avoid numerous on-the-fly computations of high-resolution architectures by pre-computing the indices for both sequence and resampling operators. By doing so, we deliver highly competitive high-resolution architectures while capitalizing on the benefits of well-designed point cloud blocks without additional effort. To evaluate these architectures for dense point cloud analysis, we conduct thorough experiments using S3DIS and ScanNetV2 datasets, where the proposed PointHR outperforms recent state-of-the-art methods without any bells and whistles. The source code is available at \url{https://github.com/haibo-qiu/PointHR}.

研究动机与目标

• 为解决标准编码器-解码器网络在 3D 点云分割中的局限性，这些网络早期下采样特征并逐步恢复高分辨率预测，从而损害空间精度。
• 探索高分辨率架构在 2D 视觉中成功的原因，通过在整个网络中并行保持多种分辨率，用于 3D 点云分析。
• 通过预计算 kNN 和下采样索引，最小化运行时计算，实现高分辨率架构在 3D 中的高效使用。
• 提供一个统一、模块化的框架，可无缝集成成熟的点云模块（如 MLP、注意力机制），而无需重新设计架构。
• 证明高分辨率设计在无需额外组件或复杂技巧的情况下，可实现更优的密集 3D 点云分割性能。

提出的方法

• 提出名为 PointHR 的统一流水线，使用基于 kNN 的序列操作符进行局部特征提取，支持直接复用现有点云模块（如 MLP、注意力机制）。
• 引入可微分下采样操作符，实现高分辨率与低分辨率特征之间的高效跨尺度特征通信。
• 预计算 kNN 特征收集和下采样操作的索引（如最远点采样、网格池化），以消除推理和训练过程中的运行时计算。
• 采用多阶段架构，在并行中保持高、中、低分辨率特征，使每阶段内频繁进行跨尺度交互。
• 采用模块化设计，使序列操作符（MLP、向量注意力、分组向量注意力）和下采样策略（FPS + KNN、网格池化）可独立替换。
• 在标准基准（S3DIS、ScanNetV2）上应用统一框架，使用标准训练协议，确保与最先进方法的公平比较。

实验结果

研究问题

• RQ1 能否成功将 2D 视觉中有效的高分辨率架构适配到 3D 点云分割中，以提升空间精度和语义理解？
• RQ2 如何在不牺牲性能的前提下，降低高分辨率 3D 架构的计算成本，特别是针对昂贵的运行时 kNN 和下采样操作？
• RQ3 在不修改架构的前提下，现有点云模块（如 MLP、注意力机制）在高分辨率 3D 分割框架中可复用到何种程度？
• RQ4 并行保持多尺度特征并频繁进行跨尺度通信，是否能优于编码器-解码器网络中顺序下采样/上采样带来的性能？
• RQ5 预计算 kNN 和下采样操作的索引，是否能显著加速训练和推理，同时保持高分辨率 3D 分割中的模型精度？

主要发现

• PointHR 在 ScanNetV2 数据集上实现了最先进性能，mIoU 达到 75.4%，mACC 达到 82.8%，优于此前的 SOTA 方法（如 PTv2 和 PMeta）。
• PointHR-L 变体在 ScanNetV2 测试集上达到 76.6% 的 mIoU，展现出强大的泛化能力和鲁棒性。
• 预计算 kNN 和下采样索引使训练时间减少约 40%：PointHR 仅需 244 个 V100 GPU 小时，而基线方法需 412 个。
• 采用分组向量注意力（gva）作为序列操作符的模型，仅用 390 万个参数和 6.8G FLOPs 即达到 74.9% 的 mIoU，优于 PTv2（75.4% mIoU，但参数量达 1130 万，FLOPs 为 14.3G）。
• 增加模型深度和宽度（如从 PointHR-T 到 PointHR-L）可一致提升 mIoU，从 72.7% 提升至 75.4%，表明模型具备良好可扩展性。
• 消融实验表明，使用高分辨率架构（HR）并配合相同序列操作符（如 mlps、va、gva）时，性能始终优于原始方法，证明了该框架的有效性与泛化能力。