[论文解读] ShapeFlow: Learnable Deformations Among 3D Shapes

Chiyu Max Jiang, Jingwei Huang+2 more|arXiv (Cornell University)|Jun 14, 2020

3D Shape Modeling and Analysis参考文献 66被引用 14

一句话总结

ShapeFlow 提出了一种基于流的生成模型，通过神经网络参数化向量场，学习3D形状之间的连续、双射形变，实现拓扑无关的形状生成并保留几何细节。该方法确保了体积守恒、无自相交和可逆性等理想特性，支持高质量的形状插值、风格迁移以及跨多样化形状类别的无监督对应学习。

ABSTRACT

We present ShapeFlow, a flow-based model for learning a deformation space for entire classes of 3D shapes with large intra-class variations. ShapeFlow allows learning a multi-template deformation space that is agnostic to shape topology, yet preserves fine geometric details. Different from a generative space where a latent vector is directly decoded into a shape, a deformation space decodes a vector into a continuous flow that can advect a source shape towards a target. Such a space naturally allows the disentanglement of geometric style (coming from the source) and structural pose (conforming to the target). We parametrize the deformation between geometries as a learned continuous flow field via a neural network and show that such deformations can be guaranteed to have desirable properties, such as be bijectivity, freedom from self-intersections, or volume preservation. We illustrate the effectiveness of this learned deformation space for various downstream applications, including shape generation via deformation, geometric style transfer, unsupervised learning of a consistent parameterization for entire classes of shapes, and shape interpolation.

研究动机与目标

• 解决现有生成模型因依赖固定拓扑结构而带来的局限性，并通常在重建过程中丢失精细几何细节的问题。
• 实现在具有较大类内差异（包括不同拓扑结构和网格连接性）的整个3D形状类别上，高质量的形状生成与形变。
• 学习一个共享的、具有几何意义的形变空间，以支持无监督的密集形状对应与一致的参数化。
• 通过基于流的形状操作，将几何风格与结构姿态解耦，为传统生成模型提供一种以形变为重心的替代方案。
• 通过神经网络参数化无散度、可逆的流场，确保形变的物理合理性，实现体积守恒并避免自相交。

提出的方法

• ShapeFlow 将形状形变建模为由神经网络参数化的连续流场，其中源形状通过学习到的向量场形变为目标形状。
• 形变由流函数 Φθ^ij 控制，该函数将源形状 Xj 推动以匹配目标形状 Xi，其流场源自3D空间中学习到的向量场。
• 通过强制要求 Φθ^ij = (Φθ^ji)^−1 实现双射性与可逆性，并保持恒等性（Φθ^ii(Xi) = Xi）。
• 通过训练使流场满足无散度条件，实现体积守恒，采用显式正则化为螺线管场的神经网络架构。
• 通过损失函数中的附加正则化项施加等距性和对称性约束，以减少表面形变并保持形状保真度。
• 模型在无监督设置下进行训练，利用潜在空间中的形变距离，实现形状类间的规范化与密集对应学习。

实验结果

研究问题

• RQ1 基于流的模型能否学习一个对形状拓扑不变但又能保留精细几何细节的形变空间？
• RQ2 如何利用神经网络参数化3D形状之间连续、双射且体积守恒的流？
• RQ3 这样的形变空间能否自然地将几何风格（来自源形状）与结构姿态（指向目标形状）解耦？
• RQ4 所学习的形变空间在多大程度上能支持无监督的密集形状对应学习与跨形状类别的统一参数化？
• RQ5 诸如无散度流场和边长保持等约束在多大程度上提升了生成形变的质量与合理性？

主要发现

• ShapeFlow 有效学习到一个形变空间，可在具有显著拓扑差异的多样化3D形状类别上实现高质量的形状生成。
• 通过无散度流场实现体积守恒，实验验证表明在人体动作动画的形变序列中，体积变化接近于零。
• 由于学习到的流场固有属性，自相交被完全避免，在形变序列中未观察到网格折叠或形变失真。
• 所学习的形变空间支持无监督密集形状对应，显著提升了语义匹配分数，尤其在初始对齐较差的形状对（如沙发与吧台椅）中表现更优。
• 与参数化模型插值相比，该方法生成的中间形状达到CAD级别的几何质量，展现出高视觉保真度。
• 该形变空间支持多种下游应用，包括几何风格迁移、形状重建与一致参数化，且无需显式的语义监督。