[论文解读] Primal-Dual Mesh Convolutional Neural Networks

Francesco Milano, Antonio Loquercio+3 more|arXiv (Cornell University)|Oct 23, 2020

3D Shape Modeling and Analysis参考文献 23被引用 47

一句话总结

PD-MeshNet 引入一个用于网格的原始-对偶图框架，结合基于注意力的动态特征聚合和面向任务的网格池化，在形状分类和分割任务中达到与最先进方法相当的结果。

ABSTRACT

Recent works in geometric deep learning have introduced neural networks that allow performing inference tasks on three-dimensional geometric data by defining convolution, and sometimes pooling, operations on triangle meshes. These methods, however, either consider the input mesh as a graph, and do not exploit specific geometric properties of meshes for feature aggregation and downsampling, or are specialized for meshes, but rely on a rigid definition of convolution that does not properly capture the local topology of the mesh. We propose a method that combines the advantages of both types of approaches, while addressing their limitations: we extend a primal-dual framework drawn from the graph-neural-network literature to triangle meshes, and define convolutions on two types of graphs constructed from an input mesh. Our method takes features for both edges and faces of a 3D mesh as input and dynamically aggregates them using an attention mechanism. At the same time, we introduce a pooling operation with a precise geometric interpretation, that allows handling variations in the mesh connectivity by clustering mesh faces in a task-driven fashion. We provide theoretical insights of our approach using tools from the mesh-simplification literature. In addition, we validate experimentally our method in the tasks of shape classification and shape segmentation, where we obtain comparable or superior performance to the state of the art.

研究动机与目标

• 通过利用几何和拓扑网格属性来激发对三角网格的学习。
• 开发一个双图（原始图和对偶图）框架，以实现动态、基于注意力的特征聚合。
• 通过原始图的边收缩引入一个任务驱动、几何意义明确的池化操作。
• 提供用于形状分割的编解码器架构，以及用于形状分类的简单分类器。
• 在多个网格基准数据集上验证方法，展现有竞争力或更优的性能。

提出的方法

• 从输入网格构建原始图和对偶图，原始节点的特征在面上，边作为对偶节点。
• 应用交替的原始和对偶图注意力卷积（GATs），具有可学习权重和注意力系数。
• 通过在原始图中对边进行收缩来实现池化操作，辅以对注意力系数的求和来形成面簇。
• 在池化后重新构建对偶图，以反映线图/中轴图的关系。
• 使用一个编码器–解码器（类似 U-Net）进行分割，和一个小型分类网络用于形状分类。
• 使用 Adam 训练；在 PyTorch 和 PyTorch Geometric 中实现。

实验结果

研究问题

• RQ1 原始-对偶网格卷积框架是否能够有效捕捉几何与拓扑网格结构，以用于深度学习任务？
• RQ2 基于注意力的动态特征聚合是否比固定核网格 CNN 提高了性能？
• RQ3 是否可以学习一个网格特定的、面向任务的池化操作，并提供网格结构的有意义的层次抽象？
• RQ4 与最先进的方法相比，所提出的 PD-MeshNet 在网格分类和分割上的表现如何？

主要发现

• 在 SHREC 上，PD-MeshNet 实现 99.7%（Split 16）和 99.1%（Split 10），优于 MeshCNN 和其他基线。
• 在 Cube Engraving 上，PD-MeshNet 实现 94.39% 的测试准确率，高于 MeshCNN 2.23 个百分点，且远超 PointNet++。
• 对于 COSEG，PD-MeshNet 在 aliens、chairs、vases 分类中获得比 MeshCNN 更高的面标签精度（某些情况下高出最多 4.24%）。
• 在 Human Body，上 PD-MeshNet 在面标签准确度方面胜过 MeshCNN（报告比较中为 93.9% 对 85.6%）。
• 该方法通过注意力驱动的池化实现面簇学习，无需拓扑特定约束，同时保持竞争性结果，并提供几何可解释的下采样。