[论文解读] Point Cloud GAN

Chunliang Li, Manzil Zaheer+3 more|arXiv (Cornell University)|Sep 27, 2018

3D Shape Modeling and Analysis被引用 12

一句话总结

本文提出PC-GAN，一种新颖的生成对抗网络（GAN）框架，用于通过引入层次化、可解释的采样过程与潜在变量的后验推断，以及一种夹心目标函数（sandwiching objective）来紧致估计Wasserstein距离，从而生成三维点云。该方法在ModelNet40数据集上实现了最先进性能，显著提升了点云生成质量，并学习到多样化、可迁移的潜在表征。

ABSTRACT

Generative Adversarial Networks (GAN) can achieve promising performance on learning complex data distributions on different types of data. In this paper, we first show a straightforward extension of existing GAN algorithm is not applicable to point clouds, because the constraint required for discriminators is undefined for set data. We propose a two fold modification to GAN algorithm for learning to generate point clouds (PC-GAN). First, we combine ideas from hierarchical Bayesian modeling and implicit generative models by learning a hierarchical and interpretable sampling process. A key component of our method is that we train a posterior inference network for the hidden variables. Second, instead of using only state-of-the-art Wasserstein GAN objective, we propose a sandwiching objective, which results in a tighter Wasserstein distance estimate than the commonly used dual form. Thereby, PC-GAN defines a generic framework that can incorporate many existing GAN algorithms. We validate our claims on ModelNet40 benchmark dataset. Using the distance between generated point clouds and true meshes as metric, we find that PC-GAN trained by the sandwiching objective achieves better results on test data than the existing methods. Moreover, as a byproduct, PC- GAN learns versatile latent representations of point clouds, which can achieve competitive performance with other unsupervised learning algorithms on object recognition task. Lastly, we also provide studies on generating unseen classes of objects and transforming image to point cloud, which demonstrates the compelling generalization capability and potentials of PC-GAN.

研究动机与目标

• 为解决标准GAN在点云（一种无序、集合型数据，且缺乏明确判别约束）上应用的挑战。
• 开发一种通用、可扩展的GAN框架，能够以更高的训练稳定性和生成质量学习复杂的三维点云分布。
• 学习解耦的、可解释的、可迁移的点云潜在表征，以支持下游任务（如物体识别）。
• 通过一个稳健的潜在空间，实现对未见物体类别的泛化能力以及跨模态生成（例如图像到点云）的能力。

提出的方法

• 提出一种层次化贝叶斯生成模型，通过结构化、可解释的方式采样潜在变量，以建模点云的几何结构。
• 采用后验推断网络学习隐藏变量的真实后验分布，从而支持端到端训练。
• 提出一种夹心目标函数，其对Wasserstein距离的估计比标准对偶形式GAN目标更紧致。
• 将层次化采样过程与夹心目标函数结合，形成一种兼容多种GAN架构的通用框架。
• 使用生成点云与真实网格之间的距离作为主要的训练和评估指标。

实验结果

研究问题

• RQ1 鉴于点云具有集合型、无序的特性，能否直接将标准GAN应用于点云？
• RQ2 如何通过层次化且可解释的采样过程改善三维点云的学习与生成？
• RQ3 所提出的夹心目标函数是否能提供比现有GAN目标更紧致的Wasserstein距离估计？
• RQ4 PC-GAN学习到的潜在空间是否能泛化到未见的物体类别，并支持图像到点云的转换？
• RQ5 解耦的潜在表征是否能在无监督物体识别任务中取得具有竞争力的性能？

主要发现

• PC-GAN在夹心目标函数下训练，其在ModelNet40基准上的生成质量更优，表现为生成点云与真实网格之间的距离更小。
• 该方法学习到多样化、解耦的潜在表征，在无需微调的情况下，在物体识别任务中表现具有竞争力。
• PC-GAN在未见物体类别上表现出强大的泛化能力，表明其在零样本生成中具有鲁棒性。
• 该框架成功支持图像到点云的转换，展示了其在跨模态生成方面的潜力。
• 夹心目标函数带来了更紧致的Wasserstein距离估计，从而提升了训练稳定性和样本质量。