[论文解读] Spectral-GANs for High-Resolution 3D Point-cloud Generation

Sameera Ramasinghe, Salman Khan+2 more|arXiv (Cornell University)|Dec 4, 2019

3D Shape Modeling and Analysis参考文献 36被引用 7

一句话总结

本文提出Spectral-GAN，一种新颖的生成对抗网络，通过在球谐矩向量（SMVs）的谱域中操作，实现高分辨率3D点云的合成，从而在计算开销极小的情况下实现高效且可扩展的生成。其在仅增加4倍FLOPs的情况下实现了40倍的分辨率提升，并学习到具有判别性的无监督特征，实现高保真度的生成与从单张图像的3D重建。

ABSTRACT

Point-clouds are a popular choice for vision and graphics tasks due to their accurate shape description and direct acquisition from range-scanners. This demands the ability to synthesize and reconstruct high-quality point-clouds. Current deep generative models for 3D data generally work on simplified representations (e.g., voxelized objects) and cannot deal with the inherent redundancy and irregularity in point-clouds. A few recent efforts on 3D point-cloud generation offer limited resolution and their complexity grows with the increase in output resolution. In this paper, we develop a principled approach to synthesize 3D point-clouds using a spectral-domain Generative Adversarial Network (GAN). Our spectral representation is highly structured and allows us to disentangle various frequency bands such that the learning task is simplified for a GAN model. As compared to spatial-domain generative approaches, our formulation allows us to generate arbitrary number of points high-resolution point-clouds with minimal computational overhead. Furthermore, we propose a fully differentiable block to transform from {the} spectral to the spatial domain and back, thereby allowing us to integrate knowledge from well-established spatial models. We demonstrate that Spectral-GAN performs well for point-cloud generation task. Additionally, it can learn {a} highly discriminative representation in an unsupervised fashion and can be used to accurately reconstruct 3D objects.

研究动机与目标

• 解决3D点云中冗余与不规则性带来的深度生成模型挑战。
• 在不显著增加模型复杂度的前提下，实现可扩展的高分辨率3D点云生成。
• 利用谱域GAN框架学习具有判别性的无监督3D形状表征。
• 通过全可微分的谱-空域变换模块，整合空域模型的知识。
• 展示在使用所学特征进行单张图像3D重建任务中的最先进性能。

提出的方法

• 该方法使用球谐矩向量（SMVs）在谱域中表示3D点云，减少冗余并实现排列不变性。
• 训练谱域GAN以学习SMVs的分布，通过频率带解耦简化生成任务。
• 引入全可微分的谱-空域与空域-谱变换模块，实现空域知识与引导的整合。
• 模型采用两阶段生成流程：前向传播生成粗略形状，反向传播用于细化高频细节。
• 通过对抗损失端到端训练生成器与判别器，同时利用判别器的中间特征进行无监督表征学习。
• 通过调整SMVs的最大阶数M实现分辨率可扩展性，其中生成点数n = 4M²，且无需改变网络架构。

实验结果

研究问题

• RQ1 通过解耦频率分量，谱域生成建模能否简化3D点云的生成？
• RQ2 在谱域运行的GAN能否以极低计算成本实现高分辨率3D点云合成？
• RQ3 所提出的可微分谱-空域变换能否有效整合空域先验知识？
• RQ4 判别器是否学习到对3D重建有用的高判别性无监督特征？
• RQ5 Spectral-GAN能否在单张2D图像上实现最先进水平的3D形状重建？

主要发现

• Spectral-GAN在仅增加4倍FLOPs的情况下，将输出分辨率提升了40倍（最高达40,000个点），展现出卓越的可扩展性。
• 模型生成的3D形状保真度高，伪影极少，经ModelNet10和IKEA数据集的定性与定量评估验证。
• 判别器学习到的无监督特征在使用二分类SVM对ModelNet10进行分类时达到93.1%的准确率，表明其具有强大的判别性表征学习能力。
• 在从单张图像进行3D重建任务中，Spectral-GAN在沙发类别上达到81.2%的mAP，在床类别上达到71.4%，优于现有最先进方法。
• 反向传播显著提升了细节保真度，补充了仅靠前向传播无法捕捉的精细结构。
• 通过简单调整SMV阶数M，该框架在不同点云分辨率下均保持高性能，无需重新训练网络架构。