[论文解读] SpiralNet++: A Fast and Highly Efficient Mesh Convolution Operator

Shunwang Gong, Lei Chen+2 more|arXiv (Cornell University)|Nov 13, 2019

3D Shape Modeling and Analysis参考文献 32被引用 7

一句话总结

SpiralNet++ 提出了一种快速、高效的网格卷积算子，通过固定的螺旋序列显式编码顶点邻域顺序，而非学习卷积核权重，从而实现鲁棒的端到端训练。它在密集形状对应、3D 面部表情分类和 3D 形状重建任务中均优于当前最先进方法，且显著更快，同时不依赖形状描述符或伪坐标。

ABSTRACT

Intrinsic graph convolution operators with differentiable kernel functions play a crucial role in analyzing 3D shape meshes. In this paper, we present a fast and efficient intrinsic mesh convolution operator that does not rely on the intricate design of kernel function. We explicitly formulate the order of aggregating neighboring vertices, instead of learning weights between nodes, and then a fully connected layer follows to fuse local geometric structure information with vertex features. We provide extensive evidence showing that models based on this convolution operator are easier to train, and can efficiently learn invariant shape features. Specifically, we evaluate our method on three different types of tasks of dense shape correspondence, 3D facial expression classification, and 3D shape reconstruction, and show that it significantly outperforms state-of-the-art approaches while being significantly faster, without relying on shape descriptors. Our source code is available on GitHub.

研究动机与目标

• 为解决在不依赖复杂卷积核函数或伪坐标系的前提下，设计高效、可微分的 3D 网格数据卷积算子的挑战。
• 通过将每轮训练中随机生成的螺旋序列替换为固定、拓扑感知的序列，提升网格几何深度学习中的训练稳定性和效率。
• 通过有序邻域聚合显式编码局部几何结构，实现对形状不变特征的鲁棒学习。
• 在包括密集对应、表情分类和形状重建在内的多种 3D 视觉任务中，展示出卓越的性能与速度。
• 提出该算子的空洞变体，以在不增加模型参数量的前提下捕捉多尺度几何细节。

提出的方法

• 该方法在每张网格上仅对一次邻近顶点进行固定螺旋序列排序，取代每轮训练中随机生成序列的方式，从而提升训练稳定性和效率。
• 在螺旋序列排序后应用全连接层，将局部几何结构与顶点特征融合，避免了学习复杂卷积核权重函数的需要。
• 该架构集成了空洞卷积变体，可在多个尺度上采样更大的邻域，扩大感受野而不增加参数量。
• 该算子被应用于标准自编码器框架中进行形状重建，池化与反池化操作使用重心坐标实现顶点恢复。
• 训练采用 Adam 优化器，并在所有基线方法中使用固定的超参数，确保在相同架构下的公平比较。
• 该方法直接作用于 3D 坐标，无需预处理的形状描述符或伪坐标。

实验结果

研究问题

• RQ1 能否设计一种既快速又高效的网格卷积算子，且不依赖于学习的卷积核函数或伪坐标系？
• RQ2 与每轮随机化螺旋序列相比，固定螺旋序列是否能提升训练收敛速度与模型稳定性？
• RQ3 固定结构的邻域聚合方法是否能在多种 3D 视觉任务中有效学习判别性且不变的形状特征？
• RQ4 所提出的空洞 SpiralNet++ 变体在捕捉多尺度几何细节方面，相较于标准版本表现如何？
• RQ5 SpiralNet++ 在无形状描述符的情况下，相较于最先进方法，在形状重建、对应与表情分类任务中的性能提升程度如何？

主要发现

• 在密集形状对应任务中，SpiralNet++ 显著优于所有基线模型，实现了更高的准确率、更快的收敛速度和更短的训练时间。
• 在 3D 面部表情分类任务中，SpiralNet++ 的平均和中位欧氏误差均低于 CoMA、Neural3DMM、MoNet 和 FeaStNet，尤其在极端表情下表现更优。
• 空洞 SpiralNet++ 变体在重建质量上表现更优，平均和中位误差更低，展现出更强的捕捉非线性形状细节的能力。
• 由于其高效的固定序列设计，SpiralNet++ 的每轮训练速度比竞争方法（包括 Neural3DMM 和 CoMA）快数倍。
• 该方法在所有评估任务中均达到最先进性能，且无需使用形状描述符或伪坐标，证明了其强大的泛化能力。
• 可视化结果表明，SpiralNet++ 生成的重建结果更精确，尤其在具有极端表情的面部上，其他模型显著失效。