[论文解读] Variational Relational Point Completion Network

Liang Pan, Xinyi Chen+5 more|arXiv (Cornell University)|Apr 20, 2021

3D Shape Modeling and Analysis参考文献 30被引用 4

一句话总结

该论文提出VRCNet，一种变分关系点云补全网络，通过双路径架构结合概率建模与基于点云自注意力及选择性卷积核模块的关系特征学习，从不完整点云中生成细节丰富、结构一致的3D形状。VRCNet在标准基准上达到最先进性能，并在真实世界扫描数据上展现出强鲁棒性，优于先前方法，在形状细节恢复与结构一致性方面表现更优。

ABSTRACT

Real-scanned point clouds are often incomplete due to viewpoint, occlusion, and noise. Existing point cloud completion methods tend to generate global shape skeletons and hence lack fine local details. Furthermore, they mostly learn a deterministic partial-to-complete mapping, but overlook structural relations in man-made objects. To tackle these challenges, this paper proposes a variational framework, Variational Relational point Completion network (VRCNet) with two appealing properties: 1) Probabilistic Modeling. In particular, we propose a dual-path architecture to enable principled probabilistic modeling across partial and complete clouds. One path consumes complete point clouds for reconstruction by learning a point VAE. The other path generates complete shapes for partial point clouds, whose embedded distribution is guided by distribution obtained from the reconstruction path during training. 2) Relational Enhancement. Specifically, we carefully design point self-attention kernel and point selective kernel module to exploit relational point features, which refines local shape details conditioned on the coarse completion. In addition, we contribute a multi-view partial point cloud dataset (MVP dataset) containing over 100,000 high-quality scans, which renders partial 3D shapes from 26 uniformly distributed camera poses for each 3D CAD model. Extensive experiments demonstrate that VRCNet outperforms state-of-theart methods on all standard point cloud completion benchmarks. Notably, VRCNet shows great generalizability and robustness on real-world point cloud scans.

研究动机与目标

• 解决现有点云补全方法生成的形状粗糙、缺乏精细局部细节的问题。
• 通过引入概率框架建模形状补全过程中的不确定性，克服当前方法的确定性局限。
• 通过关系特征模块显式学习对称性、规则性与表面平滑性等结构关系，以提升几何保真度。
• 构建大规模、多样化的多视角部分点云数据集（MVP），以支持补全模型的训练与评估。
• 在KITTI与ScanNet的真实扫描数据上展示方法的泛化能力与鲁棒性，超越合成基准的性能表现。

提出的方法

• VRCNet采用双路径架构：一条路径利用变分自编码器（VAE）学习先验分布，重建完整点云；另一条路径则基于重建的先验，从部分输入生成完整形状。
• 概率建模路径通过将部分点云的后验分布正则化至完整点云的先验分布，实现对不确定性的合理建模。
• 关系增强网络（RENet）利用多尺度局部特征精炼粗略补全结果，其中点云自注意力核（PSA）通过学习的注意力权重自适应聚合邻近点之间的关系。
• 点选择性卷积核模块（PSK）通过自适应通道加权融合多尺度卷积核的特征，增强多尺度特征表示能力。
• 模型在新构建的大规模MVP数据集上端到端训练，该数据集包含超过10万个部分与完整扫描，源自每个3D CAD模型的26个均匀分布的相机视角。
• 在真实世界扫描数据（KITTI、ScanNet）上进行微调，使模型适应稀疏且噪声较大的真实数据，而无需从头开始训练。

实验结果

研究问题

• RQ1 变分框架是否能通过建模补全过程中的不确定性，提升输出的合理性与多样性？
• RQ2 基于注意力的局部关系学习与多尺度卷积核融合等关系特征学习方法，在恢复细粒度几何细节与结构对称性方面效果如何？
• RQ3 所提方法在LiDAR与深度相机获取的真实世界、噪声大且稀疏的点云扫描中，泛化能力如何？
• RQ4 与现有基准相比，包含大规模多视角部分点云数据集（MVP）是否显著提升了模型的泛化能力与鲁棒性？
• RQ5 所提出的关联模块（PSA与PSK）是否可有效迁移至点云补全之外的其他3D点云任务？

主要发现

• 在Completion3D基准上，VRCNet的Chamfer Distance（CD）损失最低，平均CD为8.12×10⁻⁴，显著优于先前SOTA方法如GRNet（10.64×10⁻⁴）与TopNet（14.25×10⁻⁴）。
• 在MVP数据集上，VRCNet生成的形状在细节与结构一致性方面优于PCN、NSFA与AtlasNet，尤其在恢复椅子的腿部与摩托车的车轮等对称部件方面表现更优。
• 模型成功从KITTI与ScanNet的真实扫描中重建出合理且完整的形状，即使在缺失比例较高的情况下，仍能保留观测细节并生成平滑、一致的表面。
• 消融实验表明，PSA、PSK与双路径架构各组件均对性能有显著贡献，完整模型相比基线ECG有显著提升。
• 用户研究表明，VRCNet在真实扫描点云补全任务中被评价为最优先选择的方法，表明其生成结果具有出色的感知质量与真实感。
• MVP数据集包含超过10万个高质量的部分与完整扫描，显著提升了数据多样性与模型泛化能力，尤其在真实世界泛化任务中表现突出。