[论文解读] Unsupervised 3D Shape Completion through GAN Inversion

Junzhe Zhang, Xinyi Chen+7 more|arXiv (Cornell University)|Apr 27, 2021

3D Shape Modeling and Analysis参考文献 38被引用 9

一句话总结

本文提出 ShapeInversion，一种无监督的3D形状补全方法，通过生成对抗网络（GAN）反演技术，从部分输入重建完整形状，且无需成对训练数据。通过在预训练 GAN 的潜在空间中优化潜在码，以最佳方式重建部分输入，ShapeInversion 在无监督方法中达到最先进性能，并在多种部分形状和真实扫描数据上表现出稳健的泛化能力，同时支持多输出生成、形状抖动和插值等额外功能。

ABSTRACT

Most 3D shape completion approaches rely heavily on partial-complete shape pairs and learn in a fully supervised manner. Despite their impressive performances on in-domain data, when generalizing to partial shapes in other forms or real-world partial scans, they often obtain unsatisfactory results due to domain gaps. In contrast to previous fully supervised approaches, in this paper we present ShapeInversion, which introduces Generative Adversarial Network (GAN) inversion to shape completion for the first time. ShapeInversion uses a GAN pre-trained on complete shapes by searching for a latent code that gives a complete shape that best reconstructs the given partial input. In this way, ShapeInversion no longer needs paired training data, and is capable of incorporating the rich prior captured in a well-trained generative model. On the ShapeNet benchmark, the proposed ShapeInversion outperforms the SOTA unsupervised method, and is comparable with supervised methods that are learned using paired data. It also demonstrates remarkable generalization ability, giving robust results for real-world scans and partial inputs of various forms and incompleteness levels. Importantly, ShapeInversion naturally enables a series of additional abilities thanks to the involvement of a pre-trained GAN, such as producing multiple valid complete shapes for an ambiguous partial input, as well as shape manipulation and interpolation.

研究动机与目标

• 解决 3D 形状补全中的域泛化差距问题，即监督方法在分布外的部分扫描或非标准部分形式上表现不佳。
• 通过利用预训练生成模型作为归纳偏置，消除对成对部分-完整形状数据集的需求。
• 通过基于 GAN 的潜在空间操作，实现多种合理补全结果、形状操控和插值。
• 克服 3D GAN 反演中的挑战，包括点云分布不均以及无序点云中点对应关系不明确的问题。

提出的方法

• 提出一种新型的 PatchVariance 损失，通过最小化补丁中心与其最近邻点之间平均距离的方差，提升 GAN 训练过程中点云的均匀性。
• 提出一种动态 k-Mask 机制，通过将每个部分点分配给预测结果中其 k 个最近邻点，估计部分输入与生成形状之间的点对应关系。
• 通过优化潜在码 z，使 GAN 生成的形状能最好地重建给定的部分输入，其中使用 k-Mask 计算重建损失。
• 将反演过程划分为多个子阶段，对潜在码 z 和生成器参数 θ 采用衰减学习率，以提升收敛性和稳定性。
• 利用在完整形状上预训练的 GAN（如 r-GAN 或 tree-GAN），实现在真实扫描数据上无需微调的零样本补全。
• 通过扰动或插值潜在码 z，实现形状抖动和插值，利用 GAN 潜在空间的解耦与连续特性。

Figure 1: ShapeInversion incorporates the prior captured by a well-trained GAN. It shows exceptional generalization ability for shape completion: is invariant to partial form changes, i.e. , (a) virtual scans, generated by back-projecting 2.5D depth images into 3D, (b) ball-holed partial shapes, gen

实验结果

研究问题

• RQ1 GAN 反演能否在无成对训练数据的情况下有效应用于 3D 形状补全？
• RQ2 基于 GAN 的方法在包括虚拟扫描、带孔球体、真实扫描在内的多样化部分形状上，泛化能力如何？
• RQ3 预训练 GAN 的潜在空间是否能自然支持多模态补全、形状操控和插值？
• RQ4 非均匀点云分布和无序点云结构对 3D GAN 反演有何影响？如何缓解这些问题？

主要发现

• ShapeInversion 在 ShapeNet 基准上优于最先进无监督方法 pcl2pcl，尽管未使用成对数据，其性能仍可与监督方法相媲美。
• 该方法在所有测试的部分形状上均表现出稳健的泛化能力，包括虚拟扫描、带孔球体、语义部件移除，以及 ScanNet 和 KITTI 数据集中的真实扫描。
• 在真实扫描数据上，ShapeInversion 的重建保真度更高，且与输入对齐更好，优于需要在真实扫描上微调的 pcl2pcl。
• PatchVariance 损失有效提升了所有形状类别（包括精细结构和大块结构）生成点云的均匀性，且无需网络架构修改。
• k-Mask 机制即使在语义部件空间错位时，也能实现动态、鲁棒的对应关系估计，优于固定阈值或体素基基线方法。
• 由于预训练 GAN 潜在空间的解耦特性，ShapeInversion 天然支持多模态补全、形状抖动和插值。

Figure 2: GAN inversion for shape completion. A latent vector $\mathbf{z}$ is used by the pre-trained generator $G$ to reconstruct a complete shape $\mathbf{x}_{c}$ . The degradation function $M$ (Sec. 3.2 ) then transforms $\mathbf{x}_{c}$ into a partial shape $\mathbf{x}_{p}$ . The supervision sig