[论文解读] Point Cloud Generation with Continuous Conditioning

Larissa T. Triess, Andre Bühler+3 more|arXiv (Cornell University)|Feb 17, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种用于3D点云生成的新型条件生成对抗网络（GAN）框架，通过使用连续条件参数实现对物体尺寸（如宽度、高度）的连续控制。通过从数据分布的核密度估计（KDE）中采样标签来训练生成器，该方法实现了高质量、多样化且语义有意义的形状生成，并能有效泛化到训练过程中未见的分布外尺寸。

ABSTRACT

Generative models can be used to synthesize 3D objects of high quality and diversity. However, there is typically no control over the properties of the generated object.This paper proposes a novel generative adversarial network (GAN) setup that generates 3D point cloud shapes conditioned on a continuous parameter. In an exemplary application, we use this to guide the generative process to create a 3D object with a custom-fit shape. We formulate this generation process in a multi-task setting by using the concept of auxiliary classifier GANs. Further, we propose to sample the generator label input for training from a kernel density estimation (KDE) of the dataset. Our ablations show that this leads to significant performance increase in regions with few samples. Extensive quantitative and qualitative experiments show that we gain explicit control over the object dimensions while maintaining good generation quality and diversity.

研究动机与目标

• 在点云生成过程中实现对3D物体尺寸（如宽度、高度）的显式连续控制。
• 解决在连续、无限大的参数空间上进行条件化时生成真实且多样化3D形状的挑战。
• 通过增强低密度区域的训练数据覆盖，提升对分布外尺寸的泛化能力。
• 在实现定制化形状合成的同时，保持高生成质量和多样性。
• 提出一种基于核密度估计（KDE）的新标签采样策略，以提升数据稀疏区域的性能。

提出的方法

• 在GAN框架内将连续条件化建模为多任务学习问题，采用辅助分类器GAN（AcGAN）设置，并增加回归头以处理连续参数。
• 使用结合对抗损失与回归损失的加权损失函数，联合训练判别器与生成器。
• 在训练过程中，从真实数据分布的核密度估计（KDE）中采样条件标签，而非从离散的数据集标签中采样。
• 采用基于KDE区域的k-最近邻（k-NN）分类器，评估模型在分布内与分布外尺寸上的泛化能力。
• 采用标准的3D生成评估指标，包括切比雪夫距离（CD）、地球移动距离（EMD）、Fréchet点云距离（FPD）和覆盖率（COV）。
• 使用固定的潜在向量z和变化的连续条件向量y训练生成器，以生成同一潜在代码下的多样化形状。

实验结果

研究问题

• RQ1 基于GAN的3D点云生成器能否有效基于如物体尺寸等连续参数进行条件化？
• RQ2 从数据分布的KDE中采样条件标签是否能提升生成质量与泛化能力，尤其是在低密度区域？
• RQ3 该模型能否为训练数据中未出现的分布外尺寸生成真实、多样化且语义有意义的3D形状？
• RQ4 与从数据集中标准采样标签相比，所提出的基于KDE的标签采样策略在性能与多样性方面表现如何？
• RQ5 连续条件化在多大程度上保持了生成质量，同时实现了对物体尺寸的精确控制？

主要发现

• 在Table类别上，所提方法的Fréchet点云距离（FPD）达到0.8691，显著优于基线模型（1.0209）与基线2（1.6613），表明其生成质量更优。
• 在Lamp类别中，采用KDE采样时FPD为7.5012，而标准数据集采样时为36.5025，表明在低密度区域的生成质量有显著提升。
• 在最分布外的区域（σ₃），维度回归的MSE从数据集采样的52.01降至KDE采样的17.49，表明在稀疏区域的泛化能力得到改善。
• 该方法能泛化到分布外尺寸：对于超出训练数据范围的条件值（如图1中虚线框外区域）生成的形状仍保持真实且语义合理。
• 基于KDE的标签采样策略在所有物体类别中均降低了FPD与MSE，尤其在高σ区域表现更优，证实其在数据稀疏区域提升性能的有效性。
• 模型保持了高多样性，表现为在多个条件参数下MSE与FPD值均较低，即使从同一潜在向量z生成也表现出良好多样性。