[论文解读] Refinement of Predicted Missing Parts Enhance Point Cloud Completion

Alexis Mendoza, Alexander Apaza+2 more|arXiv (Cornell University)|Oct 8, 2020

3D Shape Modeling and Analysis参考文献 21被引用 7

一句话总结

本文提出了一种两阶段深度学习框架用于点云补全，首先仅预测缺失的几何结构，然后对合并结果进行精细化处理，以改善点云分布和过渡质量。通过保留原始不完整的输入并专注于缺失部分的预测，该方法在ShapeNet数据集上实现了最先进性能，在Chamfer Distance和补全质量方面均优于现有方法，尤其在Lamp和Cap等具有挑战性的类别上表现突出。

ABSTRACT

Point cloud completion is the task of predicting complete geometry from partial observations using a point set representation for a 3D shape. Previous approaches propose neural networks to directly estimate the whole point cloud through encoder-decoder models fed by the incomplete point set. By predicting the complete model, the current methods compute redundant information because the output also contains the known incomplete input geometry. This paper proposes an end-to-end neural network architecture that focuses on computing the missing geometry and merging the known input and the predicted point cloud. Our method is composed of two neural networks: the missing part prediction network and the merging-refinement network. The first module focuses on extracting information from the incomplete input to infer the missing geometry. The second module merges both point clouds and improves the distribution of the points. Our experiments on ShapeNet dataset show that our method outperforms the state-of-the-art methods in point cloud completion. The code of our methods and experiments is available in \url{https://github.com/ivansipiran/Refinement-Point-Cloud-Completion}.

研究动机与目标

• 为解决现有点云补全过程方法重建整个形状（包括冗余的输入几何结构）所导致的次优结果问题。
• 通过保留原始不完整的点云并仅聚焦于学习预测缺失部分，以提升补全过程质量。
• 通过专用的细化网络提升最终输出，改善点云分布及输入与预测部分之间的几何连续性。
• 在具有高类内差异性的挑战性类别（如Lamp和Cap）上展示方法的鲁棒性与优越性。
• 提供一种简单而高效的端到端架构，将缺失部分预测与细化过程分离，从而实现更好的控制与性能。

提出的方法

• 该方法采用双分支神经网络：缺失部分预测网络通过专用损失函数从不完整输入中推断缺失的几何结构。
• 将预测的缺失部分与原始不完整点云拼接，形成合并输入。
• 独立的合并-细化网络处理该合并点云，以改善点云分布并实现已知区域与预测区域之间的平滑过渡。
• 细化网络通过损失函数进行训练，该损失函数鼓励点云分布均匀且与真实值保持几何一致性。
• 整体架构为端到端可训练，缺失部分预测与细化模块联合优化。
• 该方法通过学习隐式利用几何先验，避免了以往工作所依赖的对称性或自相似性等强假设。

实验结果

研究问题

• RQ1 专注于仅预测缺失部分而非完整形状，是否能带来更好的点云补全过程结果？
• RQ2 保留原始不完整输入的几何结构，对补全过程的质量与鲁棒性有何影响？
• RQ3 专用的细化步骤在多大程度上改善了最终点云的分布性与连续性？
• RQ4 该方法在具有高变异性和复杂缺失区域的挑战性类别上的表现如何？
• RQ5 该方法能否在不同大小的缺失几何区域上保持高性能？

主要发现

• 所提方法在ShapeNet数据集上优于最先进方法，平均Chamfer Distance为9.769 × 10⁻⁴（Ours-MLP），优于次佳方法的7.514 × 10⁻⁴。
• 细化模块显著提升了补全过程质量，尤其在挑战性类别上：Lamp类的改进最为明显（25.197 → 12.805 × 10⁻⁴），Cap类亦有显著提升（1.822 → 2.307 × 10⁻⁴），在$Pred\rightarrow GT$与$GT\rightarrow Pred$误差上均表现出一致增益。
• 该方法在不同缺失部分尺寸下保持优异性能，从半径0.25到0.45均保持稳定增益，但在更大半径（0.55）时性能略有下降，表明其在处理极大缺失区域方面存在局限。
• 消融实验证实细化模块至关重要：移除该模块后性能显著下降，尤其在处理不平衡数据与几何不一致性方面表现更差。
• 该方法展现出良好的鲁棒性与泛化能力，尤其在类内差异性高的类别（如Lamp和Cap）上，实现了最大的相对性能提升。
• 该架构高效且有效，缺失部分预测与细化模块之间职责分明，相比联合重建方法，实现了更优的学习效果与更佳结果。