[论文解读] Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds

Stefan C. Schonsheck, Bin Dong+1 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 20

一句话总结

本文提出并行传输卷积（PTC），一种用于黎曼流形的新型卷积操作，通过利用并行传输来保持方向性，并实现紧支撑、可迁移的滤波器。PTC 支持在弯曲域上进行类似小波的运算和深度卷积神经网络，其性能与欧几里得方法相当，同时对流形形变具有鲁棒性，并在 FAUST 数据集上实现了有效的形状配准。

ABSTRACT

Convolution has been playing a prominent role in various applications in science and engineering for many years. It is the most important operation in convolutional neural networks. There has been a recent growth of interests of research in generalizing convolutions on curved domains such as manifolds and graphs. However, existing approaches cannot preserve all the desirable properties of Euclidean convolutions, namely compactly supported filters, directionality, transferability across different manifolds. In this paper we develop a new generalization of the convolution operation, referred to as parallel transport convolution (PTC), on Riemannian manifolds and their discrete counterparts. PTC is designed based on the parallel transportation which is able to translate information along a manifold and to intrinsically preserve directionality. PTC allows for the construction of compactly supported filters and is also robust to manifold deformations. This enables us to preform wavelet-like operations and to define deep convolutional neural networks on curved domains.

研究动机与目标

• 解决现有方法在流形上缺乏紧支撑、方向感知且可迁移的卷积操作的问题。
• 将卷积神经网络推广至黎曼流形和离散网格等弯曲域。
• 在可变形流形上实现鲁棒的特征学习与配准，尤其适用于非刚性形状分析。
• 利用稀疏矩阵运算开发 PTC 的数值高效且内存优化的实现。

提出的方法

• PTC 通过在流形上沿测地线移动滤波器权重并利用并行传输，将欧几里得卷积推广至非欧几里得空间，从而保持方向信息。
• 该方法通过从参考点将核权重并行传输至邻近点来构建滤波器，确保内在几何一致性。
• 采用稀疏矩阵公式高效计算卷积，结合质量矩阵与邻域索引，实现与深度学习框架的兼容性。
• 该方法使用基于补丁的插值方案与并行传输，定义离散网格上的局部卷积操作。
• 采用三元组损失训练一个两层 PTC 网络，配合 ReLU 激活函数，以学习形状无关、具有判别性的特征用于配准。
• 实现采用 TensorFlow 和 PyTorch 中的稀疏矩阵运算，计算复杂度与标准欧几里得卷积相当。

实验结果

研究问题

• RQ1 流形上的卷积操作能否像在欧几里得空间中一样保持方向性和紧支撑？
• RQ2 能否在非欧几里得、弯曲的域（如黎曼流形）上有效构建卷积神经网络？
• RQ3 PTC 学习到的特征能否在不同流形之间泛化，尤其是在形变条件下？
• RQ4 在形状配准任务中，PTC 与谱方法和基于补丁的方法相比表现如何？
• RQ5 PTC 层在计算效率上是否高效，并与标准深度学习框架兼容？

主要发现

• PTC 通过并行传输构建紧支撑滤波器，实现在流形上的类似小波的运算。
• 在 FAUST 数据集上，该方法在非刚性形状配准任务中性能与欧几里得 CNN 相当。
• 使用三元组损失和 PTC 层训练的网络在 FAUST 数据集中不同个体间产生一致且具有判别性的特征图。
• 基于特征的配准方法使用 PTC 的表现优于基线方法（使用热核签名），在对应点预测中具有更低的测地线误差。
• 在包含 6890 个点的网格上，两层 PTC 网络的前向与反向传播通过稀疏矩阵运算在半秒内完成。
• 使用 ADAM 优化器在 FAUST 数据集上的整个训练过程在 8 小时内完成，证明了其实际可扩展性。