[论文解读] Neural Shape Deformation Priors

Jiapeng Tang, Lev Markhasin+3 more|arXiv (Cornell University)|Oct 11, 2022

3D Shape Modeling and Analysis被引用 13

一句话总结

该论文提出神经形状形变先验（Neural Shape Deformation Priors），一种基于学习的方法，通过建模为几何感知的局部场的组合，利用基于Transformer的网络，从稀疏用户提供的控制柄运动中预测自然、连续的网格形变。通过采用规范化（canonicalization）和注意力驱动的局部潜在代码聚合，该方法在泛化能力和精度上优于基于优化的方法和先前的神经方法。

ABSTRACT

We present Neural Shape Deformation Priors, a novel method for shape manipulation that predicts mesh deformations of non-rigid objects from user-provided handle movements. State-of-the-art methods cast this problem as an optimization task, where the input source mesh is iteratively deformed to minimize an objective function according to hand-crafted regularizers such as ARAP. In this work, we learn the deformation behavior based on the underlying geometric properties of a shape, while leveraging a large-scale dataset containing a diverse set of non-rigid deformations. Specifically, given a source mesh and desired target locations of handles that describe the partial surface deformation, we predict a continuous deformation field that is defined in 3D space to describe the space deformation. To this end, we introduce transformer-based deformation networks that represent a shape deformation as a composition of local surface deformations. It learns a set of local latent codes anchored in 3D space, from which we can learn a set of continuous deformation functions for local surfaces. Our method can be applied to challenging deformations and generalizes well to unseen deformations. We validate our approach in experiments using the DeformingThing4D dataset, and compare to both classic optimization-based and recent neural network-based methods.

研究动机与目标

• 解决用户引导的3D形状形变问题中因输入稀疏控制柄导致的病态性（ill-posed nature），即存在多种可能的形变结果。
• 克服手工设计先验（如ARAP）对所有区域一视同仁的局限性，从而在非刚性物体上产生不真实的形变。
• 在无需规范输入几何形状的前提下，实现对拓扑结构、顶点数量和任意姿态各异的网格的鲁棒形状操控。
• 通过数据驱动、几何感知的形变先验，提升对未见形变和分布外形状的泛化能力。
• 开发一种连续的形变场表示，支持无限顶点数和不连通组件，从而实现高保真度的编辑。

提出的方法

• 将形状形变表示为定义在近表面区域的连续3D形变场，无论输入网格的分辨率如何，均可生成平滑、高分辨率的输出。
• 采用两阶段规范化过程：首先通过反向形变场将任意姿态的源网格变换到规范姿态，然后将其变形至目标姿态。
• 提出基于Transformer的形变网络（TD-Nets），利用向量注意力模块将输入点云的表面几何和部分形变流编码为稀疏局部潜在代码和一个全局特征向量。
• 采用注意力解码器，基于特征相似性聚合邻近的局部潜在代码，以预测每个空间点的位移向量。
• 使用多层感知机（MLP）从聚合特征中预测最终的顶点位移，实现端到端可微的形变预测。
• 利用大规模非刚性形变数据集（DeformingThing4D）进行训练，使模型在各类物体类别上学习到多样且逼真的形状变化。

实验结果

研究问题

• RQ1 深度学习模型能否学习到在未见非刚性形变（尤其是分布外形变）上泛化良好的形变先验？
• RQ2 与全局潜在表示相比，将形变建模为局部、依赖几何的场的组合，如何提升泛化能力？
• RQ3 在处理任意姿态的源网格时，规范化在多大程度上提升了性能和鲁棒性？
• RQ4 基于注意力的特征查询是否能优于基于距离的插值方法，在选择相关形变描述符方面实现更准确的位移预测？
• RQ5 在具有挑战性的形变上，该方法与经典基于优化的方法（如ARAP）和近期神经基线方法（如ShapeFlow、NFGP）相比，在准确性和真实感方面表现如何？

主要发现

• 所提方法在DeformingThing4D-Animals数据集上的定量指标（如ℓ₂顶点误差）和定性真实感方面，均优于ARAP和其他神经基线方法。
• 基于注意力的特征查询机制显著降低了ℓ₂顶点误差，相比基于距离的插值，证明了上下文感知描述符选择的重要性。
• 规范化提升了泛化能力：未使用规范化的模型在分布外姿态下表现出明显更高的表面误差。
• 该方法对未见身份和极端形变具有良好的泛化能力，表明所学习的几何感知先验具有强大的归纳偏差。
• 消融实验表明，将点Transformer编码器替换为PointNet++会导致性能下降，证实了所提注意力架构的优越性。
• 即使在具有不连通组件和不同顶点数量的网格上，该模型仍能实现高保真度形变，验证了形变场表示的连续性。