[论文解读] Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks

Weiyue Wang, Qiangui Huang+3 more|arXiv (Cornell University)|Nov 17, 2017

3D Shape Modeling and Analysis参考文献 26被引用 24

一句话总结

该论文提出了一种混合深度学习框架，结合3D编码器-解码器生成对抗网络（3D-ED-GAN）与长短期记忆卷积网络（LRCN），从不完整、低分辨率的扫描数据中重建出高分辨率、语义合理的3D形状。3D-ED-GAN通过潜在空间中的对抗性训练捕捉全局结构，而LRCN则按顺序处理2D切片以恢复细节并克服GPU显存限制，实现了最先进的补全精度，并支持有效的3D特征学习。

ABSTRACT

Recent advances in convolutional neural networks have shown promising results in 3D shape completion. But due to GPU memory limitations, these methods can only produce low-resolution outputs. To inpaint 3D models with semantic plausibility and contextual details, we introduce a hybrid framework that combines a 3D Encoder-Decoder Generative Adversarial Network (3D-ED-GAN) and a Long-term Recurrent Convolutional Network (LRCN). The 3D-ED-GAN is a 3D convolutional neural network trained with a generative adversarial paradigm to fill missing 3D data in low-resolution. LRCN adopts a recurrent neural network architecture to minimize GPU memory usage and incorporates an Encoder-Decoder pair into a Long Short-term Memory Network. By handling the 3D model as a sequence of 2D slices, LRCN transforms a coarse 3D shape into a more complete and higher resolution volume. While 3D-ED-GAN captures global contextual structure of the 3D shape, LRCN localizes the fine-grained details. Experimental results on both real-world and synthetic data show reconstructions from corrupted models result in complete and high-resolution 3D objects.

研究动机与目标

• 解决现实世界3D扫描中因遮挡、噪声或传感器限制导致的3D扫描不完整问题。
• 从受损的低分辨率输入中生成高分辨率、语义合理的3D形状，同时保留全局结构与细粒度细节。
• 通过将3D体积分解为2D切片序列并由循环网络处理，克服3D CNN的GPU显存限制。
• 为下游任务（如物体分类）提供有效的3D特征表示学习能力。
• 展示所学习的潜在空间在形状算术与语义插值中的实用性。

提出的方法

• 通过对抗性损失与上下文损失训练3D-ED-GAN，将低分辨率、受损的体素输入编码到概率潜在空间，并通过GAN框架解码，以重建完整的3D形状。
• LRCN将3D-ED-GAN的输出作为2D切片序列进行处理，采用长短期记忆（LSTM）架构结合CNN编码器与全卷积解码器，生成高分辨率3D体积分。
• 将3D体积视为2D切片序列，以降低GPU显存使用，从而实现超越标准3D CNN限制的高分辨率推理。
• 混合网络可端到端训练，其中3D-ED-GAN负责全局形状补全，LRCN则细化局部几何细节。
• 利用3D-ED-GAN编码器生成的潜在向量，支持下游任务如3D物体分类与形状插值。
• 在模拟扫描噪声与遮挡条件下的合成数据（ShapeNet）和真实世界3D扫描上对框架进行了评估。

实验结果

研究问题

• RQ1 3D-ED-GAN能否通过对抗性训练与潜在空间建模，有效从不完整的3D扫描中重建全局形状结构？
• RQ2 通过处理3D体积的2D切片序列，循环网络能否显著提升分辨率与细节恢复能力，同时降低GPU显存使用？
• RQ3 3D-ED-GAN所学习的潜在表示是否支持有效的迁移学习，用于3D物体分类？
• RQ4 潜在空间能否支持有意义的形状算术，例如在不同3D形状之间实现平滑插值？
• RQ5 与现有3D修复与生成方法相比，该3D-ED-GAN + LRCN混合框架在重建精度与细节保真度方面表现如何？

主要发现

• 在模拟扫描噪声下的ShapeNet数据集上，混合模型的重建误差为4.74%，优于基线方法（VConv-DAE为7.48%，3D-ED-GAN为6.55%，LRCN为7.08%）。
• 在ModelNet40上微调预训练的3D-ED-GAN模型，分类准确率达到87.3%，优于随机初始化（86.1%），证明了其有效的无监督特征学习能力。
• 在3D-ED-GAN潜在向量上训练的线性SVM分类器在ModelNet40上达到84.3%的准确率，超过其他表示学习方法（如VConv-DAE-US为75.5%，3DGAN为83.3%）。
• 通过潜在空间实现的形状插值产生了在不同3D形状之间平滑、连续的过渡，证实了所学表示的解耦性与语义意义。
• 在真实世界与合成扫描上的定性结果表明，该框架能够生成完整、高分辨率的3D物体，具备逼真的几何细节与上下文一致性。
• LRCN组件成功恢复了3D-ED-GAN单独处理时未能捕捉的细粒度细节，证明了按序列处理2D切片在分辨率增强方面的有效性。