[论文解读] Window Normalization: Enhancing Point Cloud Understanding by Unifying Inconsistent Point Densities

Qi Wang, Sheng Shi+3 more|arXiv (Cornell University)|Dec 5, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

本文提出预抽象分组窗口归一化（PAGWN）模块，以解决3D点云中不一致的点密度问题，通过归一化局部邻域并平衡局部与全局表征，提升特征学习能力。该方法显著提升语义分割精度，在S3DIS（Area 5）上相较PointNeXt-XL实现2.7%的mIoU提升，达到当前最优性能。

ABSTRACT

Downsampling and feature extraction are essential procedures for 3D point cloud understanding. Existing methods are limited by the inconsistent point densities of different parts in the point cloud. In this work, we analyze the limitation of the downsampling stage and propose the pre-abstraction group-wise window-normalization module. In particular, the window-normalization method is leveraged to unify the point densities in different parts. Furthermore, the group-wise strategy is proposed to obtain multi-type features, including texture and spatial information. We also propose the pre-abstraction module to balance local and global features. Extensive experiments show that our module performs better on several tasks. In segmentation tasks on S3DIS (Area 5), the proposed module performs better on small object recognition, and the results have more precise boundaries than others. The recognition of the sofa and the column is improved from 69.2% to 84.4% and from 42.7% to 48.7%, respectively. The benchmarks are improved from 71.7%/77.6%/91.9% (mIoU/mAcc/OA) to 72.2%/78.2%/91.4%. The accuracies of 6-fold cross-validation on S3DIS are 77.6%/85.8%/91.7%. It outperforms the best model PointNeXt-XL (74.9%/83.0%/90.3%) by 2.7% on mIoU and achieves state-of-the-art performance. The code and models are available at https://github.com/DBDXSS/Window-Normalization.git.

研究动机与目标

• 解决现有方法在3D点云不同区域间点密度不一致所导致的有效特征学习困难问题。
• 通过窗口归一化统一不同密度区域的局部邻域统计特征，提升特征表征能力。
• 在下采样阶段通过预抽象模块平衡局部与全局特征，减少信息损失。
• 提升点云语义分割中小物体识别与边界精度。
• 开发一种可插拔模块，兼容现有网络架构，在无需整体结构重构的前提下提升性能。

提出的方法

• 提出一种分组窗口归一化（GWN）模块，将邻近点分为两组：近距离邻点用于纹理特征提取，远距离邻点用于空间上下文建模。
• 对每组分别应用窗口归一化，以在点密度变化时稳定并统一特征分布。
• 引入预抽象模块，确保中心点及其邻点处理一致，提升局部与全局特征之间的表征平衡。
• 使用可学习的线性层聚合空间坐标与特征，随后接批量归一化和ReLU激活。
• 对归一化后的特征进行最大池化操作，生成最终的点嵌入表征，保留层级结构。
• 优化分组点数量（m），在特征多样性与计算成本间取得平衡，m=3被确定为最优选择。

实验结果

研究问题

• RQ1 3D点云中不同区域点密度不一致如何影响深度网络的特征学习？
• RQ2 窗口归一化是否能有效统一不同点密度区域的特征分布？
• RQ3 对邻点特征采用分组策略是否能更好提取纹理与空间信息？
• RQ4 预抽象模块是否能在下采样过程中更有效地平衡局部与全局特征学习？
• RQ5 PAGWN模块在多大程度上提升了点云分割中小物体识别与边界精度？

主要发现

• 在S3DIS（Area 5）上，PAGWN模块将mIoU从71.7%提升至72.2%，mAcc与OA分别提升至78.2%与91.4%。
• 在S3DIS的6折交叉验证中，模型达到77.6%的mIoU、85.8%的mAcc与91.7%的OA，相较PointNeXt-XL在mIoU上提升2.7%。
• 小物体识别能力显著增强：沙发识别率从69.2%提升至84.4%，柱体识别率从42.7%提升至48.7%。
• 消融实验表明，采用m=3的分组窗口归一化策略性能最佳，mIoU从70.9%提升至71.4%。
• PAGWN模块引入的计算开销极低——仅增加264,000个参数，且在S3DIS上推理时间增加不足2分钟。
• 该方法可无缝集成至现有网络架构中，无需修改网络结构，展现出优异的泛化能力与即插即用兼容性。