[论文解读] Skeleton-bridged Point Completion: From Global Inference to Local Adjustment

Yinyu Nie, Yiqun Lin+5 more|arXiv (Cornell University)|Oct 14, 2020

3D Shape Modeling and Analysis参考文献 14被引用 33

一句话总结

论文提出 SK-PCN，是一个骨架桥接点云补全网络，使用中等骨架作为全局结构与基于位移的表面增长，通过输入合并进行局部细化，并使用基于补丁的判别器提升点和网格补全，相较于以往的编码器-解码器方法。

ABSTRACT

Point completion refers to complete the missing geometries of objects from partial point clouds. Existing works usually estimate the missing shape by decoding a latent feature encoded from the input points. However, real-world objects are usually with diverse topologies and surface details, which a latent feature may fail to represent to recover a clean and complete surface. To this end, we propose a skeleton-bridged point completion network (SK-PCN) for shape completion. Given a partial scan, our method first predicts its 3D skeleton to obtain the global structure, and completes the surface by learning displacements from skeletal points. We decouple the shape completion into structure estimation and surface reconstruction, which eases the learning difficulty and benefits our method to obtain on-surface details. Besides, considering the missing features during encoding input points, SK-PCN adopts a local adjustment strategy that merges the input point cloud to our predictions for surface refinement. Comparing with previous methods, our skeleton-bridged manner better supports point normal estimation to obtain the full surface mesh beyond point clouds. The qualitative and quantitative experiments on both point cloud and mesh completion show that our approach outperforms the existing methods on various object categories.

研究动机与目标

• 通过显式地通过 meso-skeleton 建模全局结构来促成对部分点云的鲁棒 3D 形状补全。
• 将补全分解为骨架（全局）和表面（局部）学习，以更好地保留拓扑和细节。
• 通过非本地注意力机制利用输入扫描的局部信息来引导骨架到表面的增长。
• 通过合并可观测输入数据并使用基于补丁的判别器来确保在观测区域附近的保真度来细化预测。

提出的方法

• 从部分扫描预测一个 meso-skeleton，以捕捉全局对象结构。
• 融合骨架与多分辨率局部特征，从骨架点回归表面位移。
• 应用非本地注意力模块，将有用的局部输入特征在各分辨率上传播到骨架点。
• 对骨架特征进行上采样和变形，以生成带法线的致密表面，从而实现网格重建。
• 将原始部分扫描与预测表面合并，并利用补丁判别器和表面调整模块细化边界。

实验结果

研究问题

• RQ1 显式的 meso-skeleton 是否能够为从部分点云完成 3D 形状提供更好的全局抽象？
• RQ2 将骨架引导的表面生长与局部特征增强相结合，是否相较于编码器-解码器基线提高拓扑保持和表面保真度？
• RQ3 由输入数据引导的局部细化步骤如何影响最终网格质量和法线精度？
• RQ4 基于补丁的判别器在完成过程中加强观测区域的保真度起什么作用？

主要发现

• SK-PCN 在多个对象类别上优于现有点云补全方法，在保持拓扑与恢复细节方面表现出色。
• 使用 meso-skeleton 作为桥梁使全局结构恢复比潜在特征解码器更可靠。
• 非本地注意力有效地将有贡献的局部输入特征传播到骨架点，改善表面补全。
• 合并输入扫描并应用表面调整模块，在可观测区域获得更高保真度，并为网格重建提供更好的法线。
• 该方法在点云补全和后续网格重建任务上取得了改进的结果。