[论文解读] PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling

Yan Xu, Chaoda Zheng+3 more|arXiv (Cornell University)|Mar 1, 2020

3D Shape Modeling and Analysis参考文献 50被引用 49

一句话总结

PointASNL 引入自适应采样与局部-非局部模块，以稳健处理嘈杂/非结构化的点云，在合成室内/室外数据集上的分类与分割取得最先进的结果。

ABSTRACT

Raw point clouds data inevitably contains outliers or noise through acquisition from 3D sensors or reconstruction algorithms. In this paper, we present a novel end-to-end network for robust point clouds processing, named PointASNL, which can deal with point clouds with noise effectively. The key component in our approach is the adaptive sampling (AS) module. It first re-weights the neighbors around the initial sampled points from farthest point sampling (FPS), and then adaptively adjusts the sampled points beyond the entire point cloud. Our AS module can not only benefit the feature learning of point clouds, but also ease the biased effect of outliers. To further capture the neighbor and long-range dependencies of the sampled point, we proposed a local-nonlocal (L-NL) module inspired by the nonlocal operation. Such L-NL module enables the learning process insensitive to noise. Extensive experiments verify the robustness and superiority of our approach in point clouds processing tasks regardless of synthesis data, indoor data, and outdoor data with or without noise. Specifically, PointASNL achieves state-of-the-art robust performance for classification and segmentation tasks on all datasets, and significantly outperforms previous methods on real-world outdoor SemanticKITTI dataset with considerate noise. Our code is released through https://github.com/yanx27/PointASNL.

研究动机与目标

• 解决来自真实传感器的点云处理中对噪声和离群点的鲁棒性问题。
• 开发一个端到端的架构，使采样点能够适应内在几何形状。
• 在点云中捕获局部邻域信息和远程依赖关系。
• 在多样化数据集（合成、室内、室外）上展示性能提升。

提出的方法

• 自适应采样（AS）模块对采样点进行再加权与偏移，以适应内在几何并降低离群点影响。
• 局部-非局部（L-NL）模块，结合点局部单元（PL）和点非局部单元（PNL），在局部与全局上下文之间进行融合。
• 点非局部单元将采样点的响应计算为对所有点的加权和，以编码长距离依赖。
• 可插拔的 PL 与 PNL 单元使在 L-NL 框架内实现灵活的局部/全局特征学习。
• 分层 PointASNL 架构在各层跨越 AS 与 L-NL 进行分类与分割。
• 基于软注意力的特征加权和可微分采样实现端到端训练。

实验结果

研究问题

• RQ1 自适应采样如何在存在噪声/离群点时提升点云处理的鲁棒性？
• RQ2 非局部、多尺度上下文模块是否通过捕获远距离依赖来提升学习效果？
• RQ3 将自适应采样与局部和非局部特征聚合结合，是否在多样化数据集上实现更优的分类与分割？
• RQ4 在有噪声条件下，PointASNL 相对于最先进方法在合成和真实室外数据集上的表现如何？

主要发现

• PointASNL 在合成、室内和室外数据集上的分类与分割鲁棒性和精度达到最先进水平。
• 自适应采样降低了对离群点的敏感性，使采样点更好地反映内在几何。
• 局部-非局部模块通过有效融合局部邻域信息与全局上下文，在噪声条件下提升学习效果。
• PNL 通过对整个点集进行关注实现对长距离依赖的建模，增强对稀疏/嘈杂数据的鲁棒性。
• 消融研究显示将 PL、PNL 与 AS 结合相比仅使用局部或全局特征时有显著提升。
• 在 outdoor SemanticKITTI 上，PointASNL 在分割任务中显著优于竞争方法，且在嘈杂条件下表现更好。