[论文解读] Neural 3D Morphable Models: Spiral Convolutional Networks for 3D Shape Representation Learning and Generation

Giorgos Bouritsas, Sergiy Bokhnyak+3 more|arXiv (Cornell University)|May 8, 2019

3D Shape Modeling and Analysis参考文献 58被引用 147

一句话总结

该论文提出了神经3D可变形模型（Neural3DMM），一种新颖的框架，利用螺旋卷积神经网络在网格上直接学习层次化、拓扑感知的3D可变形形状表示。通过螺旋扫描强制保持局部顶点顺序的一致性，该方法打破了图神经网络中的排列不变性，实现了各向异性的、轻量级且高效的网格卷积，其在人体面部和身体的3D形状重建与生成任务中，性能优于线性可变形模型和先前的图神经网络。

ABSTRACT

Generative models for 3D geometric data arise in many important applications in 3D computer vision and graphics. In this paper, we focus on 3D deformable shapes that share a common topological structure, such as human faces and bodies. Morphable Models and their variants, despite their linear formulation, have been widely used for shape representation, while most of the recently proposed nonlinear approaches resort to intermediate representations, such as 3D voxel grids or 2D views. In this work, we introduce a novel graph convolutional operator, acting directly on the 3D mesh, that explicitly models the inductive bias of the fixed underlying graph. This is achieved by enforcing consistent local orderings of the vertices of the graph, through the spiral operator, thus breaking the permutation invariance property that is adopted by all the prior work on Graph Neural Networks. Our operator comes by construction with desirable properties (anisotropic, topology-aware, lightweight, easy-to-optimise), and by using it as a building block for traditional deep generative architectures, we demonstrate state-of-the-art results on a variety of 3D shape datasets compared to the linear Morphable Model and other graph convolutional operators.

研究动机与目标

• 为解决图神经网络在3D形状学习中因排列不变性带来的局限性，通过显式编码网格拓扑结构来提升性能。
• 开发一种直接在网格上运行的深度生成模型，无需体素或2D投影等中间表示。
• 通过在固定拓扑网格上实现非线性、层次化的特征学习，超越线性3D可变形模型和现有图卷积算子。
• 通过端到端自编码器和生成对抗网络（GAN）验证其在3D形状重建与生成任务中的最先进性能。

提出的方法

• 提出一种新型图卷积算子——螺旋卷积，通过螺旋扫描强制实现网格顶点的局部有序排列，打破排列不变性。
• 利用螺旋扫描建立邻近顶点与可学习滤波器参数之间的一一映射，实现在网格上的各向异性滤波。
• 以螺旋卷积作为构建模块，构建分层内在网格自编码器，形成Neural3DMM框架。
• 为保证公平比较，采用与COMA相同的架构，但通过扩大参数空间以增强表征能力。
• 使用变分自编码器目标进行模型训练，并采用重参数化技巧实现潜在空间采样。
• 将该框架应用于自编码与基于GAN的生成任务，实现在潜在空间中的形状算术与身份合成。

实验结果

研究问题

• RQ1 通过局部顶点排序显式编码网格拓扑的图卷积算子，是否能在3D形状表示学习中优于排列不变的图神经网络？
• RQ2 基于螺旋卷积的分层自编码器是否在3D网格重建性能上优于线性可变形模型和先前基于图神经网络的自编码器？
• RQ3 基于螺旋卷积的模型能否生成具有精细几何细节的逼真、多样化的3D面部身份，超越传统3DMM？
• RQ4 所学习的潜在空间在多大程度上支持有意义的几何操作，如插值、外推和类比？

主要发现

• Neural3DMM在所有测试数据集上均实现了SOTA重建误差，包括COMA（人脸）、Mein3D（人脸）和DFAUST（人体），优于PCA、3DMM、COMA和基于ChebNet的自编码器。
• 在COMA数据集中，当潜在维度解释85%方差时，Neural3DMM相比COMA将平均重建误差降低最多达30%，相比PCA降低最多达40%。
• 在顶点数超过5万的Mein3D数据集上，PCA因计算成本过高而不可行，而Neural3DMM在参数显著更少的情况下仍保持高性能。
• 该模型支持高质量的形状算术：在身份与表情之间实现平滑插值，以及对人脸特征进行合理外推以实现夸张化表达。
• 基于螺旋卷积生成器的GAN生成模型可生成具有精细几何细节的逼真3D人脸，其合成样本与真实扫描难以区分；而传统3DMM生成的输出则更平滑、不够真实。
• 即使潜在空间解释了超过99%的方差，Neural3DMM仍优于PCA，因其参数化方式更高效且语义意义更强。