[论文解读] Multiscale Mesh Deformation Component Analysis with Attention-based Autoencoders

Jie Yang, Lin Gao+4 more|arXiv (Cornell University)|Dec 4, 2020

3D Shape Modeling and Analysis参考文献 70被引用 6

一句话总结

本文提出了一种新颖的堆叠注意力自编码器框架，可从3D网格形变数据集中自动提取多尺度、局部化的形变分量。通过使用注意力机制聚焦于不同尺度下的活跃形变区域，并利用堆叠自编码器实现形变的分层分解，该方法在重建质量方面优于当前最先进方法，且显著降低了失真，实现了从粗到精的形状编辑。

ABSTRACT

Deformation component analysis is a fundamental problem in geometry processing and shape understanding. Existing approaches mainly extract deformation components in local regions at a similar scale while deformations of real-world objects are usually distributed in a multi-scale manner. In this paper, we propose a novel method to exact multiscale deformation components automatically with a stacked attention-based autoencoder. The attention mechanism is designed to learn to softly weight multi-scale deformation components in active deformation regions, and the stacked attention-based autoencoder is learned to represent the deformation components at different scales. Quantitative and qualitative evaluations show that our method outperforms state-of-the-art methods. Furthermore, with the multiscale deformation components extracted by our method, the user can edit shapes in a coarse-to-fine fashion which facilitates effective modeling of new shapes.

研究动机与目标

• 解决现有方法仅在单一尺度下提取形变分量或无法捕捉分层局部形变的局限性。
• 通过自动识别语义上有意义、尺度多样的形变分量，实现从粗到精的形状编辑。
• 通过利用多尺度表征，提升数据驱动网格编辑中的形状重建保真度并减少失真。
• 将注意力机制集成到深度自编码器架构中，实现对形变模式的动态、区域特定聚焦。
• 通过在不同空间尺度上隔离形变行为，支持感知一致的编辑。

提出的方法

• 采用堆叠自编码器架构，其中后续每个自编码器均作用于前一个的残差，实现形变的分层分解。
• 引入注意力机制，学习软权重以突出网格中的活跃形变区域，引导后续自编码器聚焦于特定子区域。
• 网络输入采用基于网格的形状上下文特征表示，有效编码局部与全局形变模式。
• 在自编码器的全连接层中应用稀疏正则化，以强制形变分量的局部化并防止过拟合。
• 网络采用端到端训练，损失函数为重建损失，确保提取的分量能忠实重建原始网格形变。
• 注意力掩码在训练过程中学习，并用于调节深层自编码器的特征提取，实现尺度感知的形变分解。

实验结果

研究问题

• RQ1 基于注意力机制的深度自编码器架构能否有效从3D网格形变数据集中提取多尺度、局部化的形变分量？
• RQ2 注意力机制的引入在多大程度上提升了提取形变分量的定位精度与语义意义？
• RQ3 与单尺度或非堆叠方法相比，堆叠自编码器设计在分解全局与局部形变方面有何增强效果？
• RQ4 提取的形变分量能否支持直观的、从粗到精的形状编辑并减少失真？
• RQ5 该方法在不同形变类型（如面部表情与全身姿态）上的泛化能力如何？

主要发现

• 所提方法在定量指标与定性视觉评估中均优于当前最先进方法，尤其在捕捉细尺度形变（如手腕扭转与尾巴弯曲）方面表现更优。
• 在编辑复杂动作（如手腕转动或尾巴扭转）时，仅本方法能成功保留局部细节而不扭曲整体形状。
• 消融实验表明，若移除注意力机制，将导致多尺度结构丢失，使形变分量的局部化与语义意义下降。
• 该方法在多尺度形变场景下实现了更优的重建质量与更低的失真，尤其在SCAPE与Horse数据集上表现显著。
• 提取的分量具有语义意义，对应于感知上可区分的形变行为，如手臂上举与手腕旋转。
• 该框架支持有效的从粗到精编辑，用户可先修改大尺度特征，再利用特定尺度的分量精细化处理局部细节。