[论文解读] Rethinking Sampling in 3D Point Cloud Generative Adversarial Networks

He Wang, Zetian Jiang+4 more|arXiv (Cornell University)|Jun 12, 2020

3D Shape Modeling and Analysis参考文献 16被引用 14

一句话总结

本文识别出3D点云生成对抗网络中的关键瓶颈在于判别器设计，特别是采样敏感性问题，提出‘采样谱’以表征判别器对点采样模式的敏感度。本文提出PointNet-Mix，一种感知采样模式的判别器，通过平衡几何保真度与密度均匀性，显著提升了生成质量，在多项指标上超越了现有模型。

ABSTRACT

In this paper, we examine the long-neglected yet important effects of point sampling patterns in point cloud GANs. Through extensive experiments, we show that sampling-insensitive discriminators (e.g.PointNet-Max) produce shape point clouds with point clustering artifacts while sampling-oversensitive discriminators (e.g.PointNet++, DGCNN) fail to guide valid shape generation. We propose the concept of sampling spectrum to depict the different sampling sensitivities of discriminators. We further study how different evaluation metrics weigh the sampling pattern against the geometry and propose several perceptual metrics forming a sampling spectrum of metrics. Guided by the proposed sampling spectrum, we discover a middle-point sampling-aware baseline discriminator, PointNet-Mix, which improves all existing point cloud generators by a large margin on sampling-related metrics. We point out that, though recent research has been focused on the generator design, the main bottleneck of point cloud GAN actually lies in the discriminator design. Our work provides both suggestions and tools for building future discriminators. We will release the code to facilitate future research.

研究动机与目标

• 探究点采样模式对3D点云生成对抗网络性能的被忽视影响。
• 识别出当前判别器存在采样不敏感（导致聚类伪影）或采样过度敏感（无法有效引导生成）的问题。
• 提出采样谱框架以表征判别器敏感度，并指导更优的判别器设计。
• 开发新的感知评估指标，形成‘指标采样谱’，以更准确评估生成质量。
• 发现并验证PointNet-Mix作为更优的、感知采样的判别器，可提升所有评估生成器的性能。

提出的方法

• 引入‘采样谱’概念，根据判别器对点采样模式的敏感度（从不敏感到过度敏感）对判别器进行分类。
• 设计并评估一系列感知指标，形成互补的‘指标采样谱’，用于评估几何与采样保真度。
• 提出PointNet-Mix，一种改进的PointNet判别器，结合全局最大池化与可学习混合操作，实现平衡的敏感度。
• 开展‘无生成器’训练实验，以隔离并分析梯度行为，发现过度敏感的判别器更优先关注采样模式的修正而非形状几何。
• 通过移除空间变换网络，实现并验证了稳定的FPD指标，提升了指标可靠性。
• 使用线性核密度估计（带宽=0.1）可视化并量化训练过程中生成点云的局部点密度。

实验结果

研究问题

• RQ1 判别器的采样敏感度如何影响生成3D点云的质量与伪影？
• RQ2 判别器在采样谱上的最优位置是什么，才能有效引导真实且逼真的3D点云生成？
• RQ3 现有评估指标如何权衡几何与采样模式保真度？这些指标是否足以评估生成对抗网络性能？
• RQ4 能否设计一种新型判别器架构，以平衡几何学习与采样均匀性，从而超越PointNet-Max？
• RQ5 为何如PointNet++与DGCNN等高级判别器尽管架构复杂，却在点云生成对抗网络中表现不佳？

主要发现

• PointNet-Max作为采样不敏感判别器，由于无法检测非均匀密度，导致生成点云出现严重聚类伪影。
• PointNet++与DGCNN作为采样过度敏感的判别器，无法有效充当判别器，且因过度优先关注采样模式差异而降低生成质量。
• 所提出的PointNet-Mix判别器达到当前最优性能，在所有评估生成器的采样相关指标上均有提升，Deform数据集上FPD得分为76.29%。
• 诊断性‘无生成器’实验表明，采样过度敏感的判别器优先调整采样模式而非改进形状几何。
• 新提出的FPD-Max指标（无空间变换网络）在第5990与第6000轮之间仅显示3.33%的相对平均变化，而原始FPD指标为49.91%，表明其稳定性显著提升。
• 对可学习点云的可视化显示，PointNet-Mix/Attention在收敛速度与密度均匀性方面优于PointNet-Max，证实其更优的引导能力。