[论文解读] Parsing Geometry Using Structure-Aware Shape Templates

Vignesh Ganapathi‐Subramanian, Olga Diamanti+4 more|arXiv (Cornell University)|Aug 3, 2018

3D Shape Modeling and Analysis参考文献 31被引用 4

一句话总结

本文提出了一种结构感知的形状模板框架，利用手工设计的参数化盒状模板，从部分RGB-D扫描中推断物体结构。通过训练深度神经网络将部分扫描与模板匹配，该方法实现了精确的部件标注、完整的网格重建以及场景补全，在保真度和语义一致性方面优于最先进方法，且无需外部监督。

ABSTRACT

Real-life man-made objects often exhibit strong and easily-identifiable structure, as a direct result of their design or their intended functionality. Structure typically appears in the form of individual parts and their arrangement. Knowing about object structure can be an important cue for object recognition and scene understanding - a key goal for various AR and robotics applications. However, commodity RGB-D sensors used in these scenarios only produce raw, unorganized point clouds, without structural information about the captured scene. Moreover, the generated data is commonly partial and susceptible to artifacts and noise, which makes inferring the structure of scanned objects challenging. In this paper, we organize large shape collections into parameterized shape templates to capture the underlying structure of the objects. The templates allow us to transfer the structural information onto new objects and incomplete scans. We employ a deep neural network that matches the partial scan with one of the shape templates, then match and fit it to complete and detailed models from the collection. This allows us to faithfully label its parts and to guide the reconstruction of the scanned object. We showcase the effectiveness of our method by comparing it to other state-of-the-art approaches.

研究动机与目标

• 为解决从消费级RGB-D传感器获取的部分、嘈杂且无结构的3D扫描中推断结构组织的挑战。
• 通过利用大型形状集合中的结构先验，实现对不完整扫描中物体的鲁棒识别与语义部件标注。
• 通过基于模板的拟合与形状检索，从部分扫描中重建完整且细节丰富的CAD级网格。
• 为AR、机器人和场景建模应用提供一种轻量级、可泛化的端到端流水线，且部件标注无需外部监督。

提出的方法

• 该方法构建了一个由手工设计、参数化的轴对齐盒组成的形状模板库，用于表示物体类别（如椅子、桌子）中的结构模式。
• 训练一个深度神经网络，基于几何特征和空间布局，检测并匹配部分扫描与最相似的结构模板。
• 通过最先进的非刚性配准优化最佳拟合模板，以与输入扫描对齐，从而传递结构与语义信息。
• 通过将扫描中的每个点投影到拟合模板中最近的盒子（基于最小距离）来分配语义部件标签。
• 通过从集合中检索对应完整形状并将其变形以匹配拟合模板和扫描几何，恢复出完整且高保真的网格。
• 该流水线通过用结构模板引导的完整网格模型替换部分扫描，实现端到端的场景补全。

实验结果

研究问题

• RQ1 手工设计的抽象形状模板能否有效从大型形状集合中捕捉并传递结构知识到未知的部分扫描中？
• RQ2 深度神经网络能否在无需密集监督的情况下准确检测并匹配部分扫描与结构模板？
• RQ3 与弱监督或端到端方法相比，基于模板的拟合在不完整3D扫描上的语义部件标注准确性可提升多少？
• RQ4 该方法能否在保持几何与结构保真度的前提下，从部分扫描中重建出完整且细节丰富的CAD级网格？

主要发现

• 该方法在5个形状类别上实现了卓越的部件标注准确率，且无需任何外部监督，优于使用70%标注数据进行训练的方法。
• 定性比较表明，基于模板的方法生成的部件布局比单独的盒状拟合（Sung et al.）或模糊的端到端补全（Dai et al.）更真实且结构更一致。
• 拟合后的模板实现了精确的语义部件标注，每个点均根据投影距离被分配到模板中最近的盒子，与真实标注高度一致。
• 该流水线在场景补全任务中成功将部分扫描替换为完整网格化的CAD模型，如图10所示，可直接用于AR和场景编辑工作流。
• 即使与专门训练用于椅子拟合的网络（Tulsiani et al.）相比，该方法仍因模板约束的强制作用，生成了更准确且结构更合理的补全结果。