[论文解读] Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis

Angela Dai, Charles R. Qi+1 more|arXiv (Cornell University)|Dec 1, 2016

3D Shape Modeling and Analysis参考文献 38被引用 77

一句话总结

该论文提出了一种两阶段的3D形状补全框架，首先利用3D-编码器-预测网络（3D-EPN）通过语义特征从部分扫描中推断全局结构，随后通过基于补丁的3D形状合成步骤，从数据库中检索并配准高分辨率CAD模型以丰富局部几何细节。该方法在合成数据集和真实世界基准测试中均取得了最先进性能，在补全精度和细节恢复方面显著优于先前方法。

ABSTRACT

We introduce a data-driven approach to complete partial 3D shapes through a combination of volumetric deep neural networks and 3D shape synthesis. From a partially-scanned input shape, our method first infers a low-resolution -- but complete -- output. To this end, we introduce a 3D-Encoder-Predictor Network (3D-EPN) which is composed of 3D convolutional layers. The network is trained to predict and fill in missing data, and operates on an implicit surface representation that encodes both known and unknown space. This allows us to predict global structure in unknown areas at high accuracy. We then correlate these intermediary results with 3D geometry from a shape database at test time. In a final pass, we propose a patch-based 3D shape synthesis method that imposes the 3D geometry from these retrieved shapes as constraints on the coarsely-completed mesh. This synthesis process enables us to reconstruct fine-scale detail and generate high-resolution output while respecting the global mesh structure obtained by the 3D-EPN. Although our 3D-EPN outperforms state-of-the-art completion method, the main contribution in our work lies in the combination of a data-driven shape predictor and analytic 3D shape synthesis. In our results, we show extensive evaluations on a newly-introduced shape completion benchmark for both real-world and synthetic data.

研究动机与目标

• 为解决来自消费级RGB-D传感器的不完整3D扫描所面临的挑战，这些扫描常因遮挡和几何缺失而受损。
• 在局部孔洞填充之外，通过预测全局结构组件（如椅子腿或飞机机翼）来提升形状补全能力。
• 通过整合来自形状数据库的高分辨率几何先验，克服3D CNN的分辨率限制。
• 开发一个端到端流程，结合数据驱动预测与解析形状合成，以实现更优的重建质量。

提出的方法

• 训练一个3D-编码器-预测网络（3D-EPN），利用隐式符号距离场表示从部分扫描中预测完整形状。
• 3D-EPN利用预训练3D-CNN分类网络提取的语义嵌入，以提升结构泛化能力和全局一致性。
• 通过学习的体素嵌入将3D-EPN生成的中间低分辨率预测与3D形状数据库相关联，以检索几何相似的CAD模型。
• 采用基于补丁的3D形状合成过程，通过强制执行从检索形状中获得的几何约束，同时保留3D-EPN提供的粗略结构，迭代优化高分辨率输出。
• 采用多分辨率方法：先通过3D-EPN完成粗略补全，再进行细节合成，从而在不直接在高分辨率上训练3D CNN的情况下实现高分辨率输出。
• 训练数据通过在ShapeNet中对完整CAD模型模拟真实部分扫描生成，真实标签在32³分辨率下生成。

实验结果

研究问题

• RQ1 3D-编码器-预测网络能否有效利用语义上下文从部分扫描中推断出全局3D结构？
• RQ2 当直接使用高分辨率3D CNN计算成本过高时，如何恢复高分辨率几何细节？
• RQ3 形状数据库检索能否在仅靠网络本身无法实现的基础上，进一步提升基于深度学习的形状补全的保真度？
• RQ4 在具有挑战性的形状补全任务中，结合深度学习与解析形状合成是否能优于单独使用任一方法？

主要发现

• 仅使用3D-EPN在合成ShapeNet数据上的平均ℓ1误差为2.33，优于先前最先进方法。
• 当与形状合成结合后，最终方法在相同基准上的平均ℓ1误差降低至1.89，实现显著提升。
• 将3D-EPN预测结果作为输入输入3D-CNN后，分类准确率从90.9%提升至92.6%，形状检索准确率从90.3%提升至95.4%。
• 该方法成功恢复了如椅子腿和飞机机翼等精细几何细节，这些细节常被纯学习方法或几何处理方法所忽略。
• 符号距离场表示在保持结构完整性方面优于占据网格和三元体素网格，并支持更精确的补全。
• 该方法在真实世界Kinect扫描中也表现出良好泛化能力，即使在极端遮挡情况下，也能生成视觉上合理且高质量的网格重建。