[论文解读] SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization

Xinhai Liu, Xinchen Liu+2 more|arXiv (Cornell University)|Dec 8, 2020

3D Shape Modeling and Analysis被引用 7

一句话总结

SPU-Net 提出了一种自监督点云上采样方法，能够从稀疏输入重建稠密点云，而无需依赖真实稠密点云的监督。该方法采用从粗到精的框架，结合图卷积网络与自注意力机制进行特征提取，通过可学习的二维网格实现分层折叠以扩展点云，并采用联合损失函数（包含重建、均匀性和自投影损失）优化噪声点在潜在表面的分布，实现与最先进监督方法相当的性能。

ABSTRACT

The task of point cloud upsampling aims to acquire dense and uniform point sets from sparse and irregular point sets. Although significant progress has been made with deep learning models, state-of-the-art methods require ground-truth dense point sets as the supervision, which makes them limited to be trained under synthetic paired training data and not suitable to be under real-scanned sparse data. However, it is expensive and tedious to obtain large numbers of paired sparse-dense point sets as supervision from real-scanned sparse data. To address this problem, we propose a self-supervised point cloud upsampling network, named SPU-Net, to capture the inherent upsampling patterns of points lying on the underlying object surface. Specifically, we propose a coarse-to-fine reconstruction framework, which contains two main components: point feature extraction and point feature expansion, respectively. In the point feature extraction, we integrate the self-attention module with the graph convolution network (GCN) to capture context information inside and among local regions simultaneously. In the point feature expansion, we introduce a hierarchically learnable folding strategy to generate upsampled point sets with learnable 2D grids. Moreover, to further optimize the noisy points in the generated point sets, we propose a novel self-projection optimization associated with uniform and reconstruction terms as a joint loss to facilitate the self-supervised point cloud upsampling. We conduct various experiments on both synthetic and real-scanned datasets, and the results demonstrate that we achieve comparable performances to state-of-the-art supervised methods.

研究动机与目标

• 为解决监督式点云上采样方法依赖昂贵的稀疏-稠密配对数据进行训练的局限性。
• 实现在真实扫描的稀疏点云上进行有效上采样，其中真实稠密数据不可用。
• 开发一种仅从稀疏输入中学习内在上采样模式的自监督框架。
• 通过减少噪声并保持表面保真度，提升生成稠密点云的质量。
• 在保持计算效率的同时，在合成数据集和真实世界数据集上均实现具有竞争力的性能。

提出的方法

• 设计了一种从粗到精的重建框架，将稀疏输入块下采样为粗粒度块，再进行重建以引导稠密点云的生成。
• 点特征提取结合图卷积网络（GCN）与自注意力机制，同时捕捉局部与上下文信息。
• 点特征扩展采用分层可学习折叠策略，利用二维网格从粗粒度特征生成稠密点集。
• 提出一种新颖的自投影优化方法，通过联合损失函数将噪声点投影到潜在表面。
• 联合损失函数结合重建、均匀性和自投影项，以在上采样过程中强制保持空间保真度与分布一致性。
• 该方法以端到端的自监督方式训练，仅使用输入的稀疏点云作为监督信号。

实验结果

研究问题

• RQ1 自监督学习框架是否能在无真实稠密点云监督的情况下有效学习上采样模式？
• RQ2 从粗到精的重建策略在多大程度上提升了点云上采样的质量和一致性？
• RQ3 自投影优化在无监督上采样中能将噪声点减少到何种程度，并如何提升表面保真度？
• RQ4 所提方法在真实扫描稀疏点云上的泛化能力如何，尤其是在合成数据分布不匹配的情况下？
• RQ5 分层折叠与联合损失组件对最终上采样性能的影响如何？

主要发现

• 尽管缺乏真实稠密监督，SPU-Net 在合成数据集和真实扫描数据集上的性能均与最先进监督方法相当。
• 该方法对输入噪声具有鲁棒性，在噪声水平为 0.1%、0.5%、1% 和 2% 的情况下均能保持高质量的上采样结果。
• 消融实验表明，所有组件——从粗到精框架、分层折叠与自投影损失——均显著提升了性能。
• 自投影损失有效减少了噪声点，通过将其投影到潜在表面，提升了几何保真度。
• SPU-Net 计算效率高，仅需 1.86 GFLOPs 和 0.68 Mb 参数，在推理速度与模型大小方面优于多个先前方法。
• 定性结果表明，在扶手椅背部和手指等复杂区域，SPU-Net 在细节保持方面表现更优，局部分布质量优于现有监督方法。