[论文解读] PAI-GCN: Permutable Anisotropic Graph Convolutional Networks for 3D Shape Representation Learning.

Zhongpai Gao, Guangtao Zhai+3 more|arXiv (Cornell University)|Apr 21, 2020

3D Shape Modeling and Analysis被引用 1

一句话总结

本文提出PAI-GCN，一种用于3D形状表征学习的新型图卷积网络，通过使用可学习的、结构感知的加权矩阵，在不规则网格图上实现自适应的各向异性滤波。通过动态建模局部几何结构，PAI-GCN在3D形状重建任务中实现了最先进性能，相较于现有方法在无序、不规则的3D网格数据上实现了更优的特征学习。

ABSTRACT

Mesh is a powerful data structure for 3D shapes. Representation learning for 3D meshes is important in many computer vision and graphics applications. The recent success of convolutional neural networks (CNNs) for structured data (e.g., images) suggests the value of adapting insight from CNN for 3D shapes. However, 3D shape data are irregular since each node's neighbors are unordered. Various graph neural networks for 3D shapes have been developed with isotropic filters or predefined local coordinate systems to overcome the node inconsistency on graphs. However, isotropic filters or predefined local coordinate systems limit the representation power. In this paper, we propose a local structure-aware anisotropic convolutional operation (LSA-Conv) that learns adaptive weighting matrices for each node according to the local neighboring structure and performs shared anisotropic filters. In fact, the learnable weighting matrix is similar to the attention matrix in the random synthesizer -- a new Transformer model for natural language processing (NLP). Comprehensive experiments demonstrate that our model produces significant improvement in 3D shape reconstruction compared to state-of-the-art methods.

研究动机与目标

• 解决现有3D网格图网络中各向同性滤波器和预定义局部坐标系的局限性。
• 通过使卷积操作适应局部几何结构，实现在不规则3D网格数据上的更丰富特征学习。
• 开发一种可学习的加权机制，以动态捕捉局部邻域关系，从而提升表征学习效果。
• 通过利用结构感知的各向异性卷积，超越固定坐标系的限制，提升3D形状重建性能。

提出的方法

• 提出一种局部结构感知的各向异性卷积（LSA-Conv），基于局部邻域结构学习节点特定的加权矩阵。
• 利用学习到的加权矩阵在应用共享各向异性滤波器前自适应地转换邻居特征，实现依赖于结构的滤波。
• 将加权矩阵的建模方式类比于注意力机制，使模型能根据局部几何结构动态聚焦于相关邻居。
• 在特征重加权后应用共享各向异性滤波器，以在保持参数效率的同时增强表征能力。
• 设计LSA-Conv操作以兼容标准图卷积网络，支持在3D网格上进行端到端训练。
• 通过利用网格图的固有不规则性，使卷积操作对局部拓扑敏感，而无需依赖固定坐标系。

实验结果

研究问题

• RQ1 可学习的、结构感知的加权是否能提升图卷积网络在不规则3D网格数据上的表征能力？
• RQ2 具有自适应邻居加权的各向异性滤波与各向同性或基于固定坐标系的方法相比，在3D形状表征中表现如何？
• RQ3 对邻居进行动态重加权在多大程度上能提升3D形状重建性能？
• RQ4 所提出方法是否能在无需预定义局部坐标系的情况下，泛化至不同的3D网格拓扑结构？

主要发现

• 与最先进方法相比，PAI-GCN在3D形状重建方面实现了显著性能提升。
• 使用可学习的、结构感知的加权矩阵，能够更好地建模3D网格中的局部几何变化。
• 该方法优于采用各向同性滤波器或固定局部坐标系的模型，证明了自适应各向异性滤波的优势。
• 所提出的LSA-Conv操作能有效捕捉局部结构模式，且无需依赖预定义坐标系。
• 由于其动态的、几何感知的卷积机制，该模型在多种不同的3D网格数据集上表现出强泛化能力。
• 性能提升主要归因于类似注意力的加权机制，该机制能基于局部拓扑优先选择信息量丰富的邻居。