[论文解读] Shape Generation using Spatially Partitioned Point Clouds

Matheus Gadelha, Subhransu Maji+1 more|arXiv (Cornell University)|Jul 19, 2017

3D Shape Modeling and Analysis参考文献 20被引用 5

一句话总结

本文提出一种轻量级、可扩展的3D形状生成方法，通过kd-tree排序的空间分区点云实现跨形状的一致点序。通过PCA推导线性形状基，并利用GAN对系数的多模态分布进行建模，该方法在生成质量上优于PPCA和3D-GAN基线模型，同时显著降低模型大小并加快训练速度，且支持法线和颜色等多属性输出。

ABSTRACT

We propose a method to generate 3D shapes using point clouds. Given a point-cloud representation of a 3D shape, our method builds a kd-tree to spatially partition the points. This orders them consistently across all shapes, resulting in reasonably good correspondences across all shapes. We then use PCA analysis to derive a linear shape basis across the spatially partitioned points, and optimize the point ordering by iteratively minimizing the PCA reconstruction error. Even with the spatial sorting, the point clouds are inherently noisy and the resulting distribution over the shape coefficients can be highly multi-modal. We propose to use the expressive power of neural networks to learn a distribution over the shape coefficients in a generative-adversarial framework. Compared to 3D shape generative models trained on voxel-representations, our point-based method is considerably more light-weight and scalable, with little loss of quality. It also outperforms simpler linear factor models such as Probabilistic PCA, both qualitatively and quantitatively, on a number of categories from the ShapeNet dataset. Furthermore, our method can easily incorporate other point attributes such as normal and color information, an additional advantage over voxel-based representations.

研究动机与目标

• 解决从无序点云生成3D形状的挑战，此类点云缺乏固有顺序，且与标准卷积架构不兼容。
• 克服体素表示的局限性，其扩展性差且因稀疏性导致内存浪费，尤其在高分辨率下更为严重。
• 通过kd-tree引入一致且保持局部性的排序，使点云能有效用于生成模型学习，促进卷积网络的应用。
• 超越线性模型如概率PCA，通过深度生成网络对形状系数的复杂多模态分布进行建模。
• 在统一框架内无缝集成额外点属性（如法线、颜色），提升生成形状的真实感与实用性。

提出的方法

• 使用kd-tree对3D形状中的点进行空间分区并实现跨所有形状的一致排序，确保局部性保持，支持结构化处理。
• 对有序点云应用PCA，推导出线性形状基及其对应的形状系数，形成低维潜在表示。
• 通过最小化PCA重建误差，迭代优化点序，以提升形状基的质量与跨形状的一致性。
• 在形状系数上训练生成对抗网络（GAN），以建模因空间对齐不完美而产生的复杂多模态分布。
• 采用1D卷积GAN架构直接处理有序点列，作为GAN+PCA流程的替代方案，实现从有序序列的直接生成。
• 通过在空间坐标外扩展表面法线、颜色和纹理坐标，支持多属性生成。

实验结果

研究问题

• RQ1 通过kd-tree对无序点云实现空间一致排序，是否能有效支持深度学习架构进行3D形状生成？
• RQ2 kd-tree排序的局部性保持特性与非局部性保持替代方案（如按x+y+z排序）相比，在形状生成质量方面表现如何？
• RQ3 直接在有序点坐标上训练1D卷积GAN，能在多大程度上生成高质量3D形状，而无需显式形状基？
• RQ4 使用GAN对形状系数分布进行建模，是否能显著提升生成质量，相比线性模型如概率PCA？
• RQ5 所提方法在保持高质量生成的同时，能否实现高效扩展，并支持法线和颜色等多属性输出？

主要发现

• 所提方法在多个ShapeNet类别上，于定性和定量评估中均优于概率PCA和3D-GAN基线模型。
• 该模型比3D-GAN基线快一个数量级且模型更小，在显著降低计算成本的同时实现相当或更优的生成质量。
• kd-tree排序至关重要：若替换为非局部性保持排序（如按x+y+z排序），如图8所示，将导致生成质量严重下降。
• 直接在有序点列上训练的1D卷积GAN可生成合理形状，表明kd-tree排序使局部感受野得到有效利用。
• 在潜在系数空间中进行形状插值可产生非线性且合理的形状过渡，表明模型捕捉到了复杂且解耦的形状变化。
• 该方法天然支持多属性形状生成，包括法线和颜色，而这些属性在体素化GAN中并不原生支持。