[论文解读] MVC-Net: A Convolutional Neural Network Architecture for Manifold-Valued Images With Applications

Jose Bouza, Chun-Hao Yang+2 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Neuroimaging Techniques and Applications参考文献 25被引用 6

一句话总结

该论文提出MVC-Net，一种用于流形值图像的新型卷积神经网络架构——其中每个像素位于黎曼流形上——通过使用切空间组合方法对传统卷积操作进行推广，称为流形值卷积（MVC）。该方法确保了等距群的等变性，并支持多层网络结构，结合切空间修正的ReLU（tReLU）激活函数，在医学影像和计算机视觉任务中实现了最先进的性能，具有更高的准确率和效率。

ABSTRACT

Geometric deep learning has attracted significant attention in recent years, in part due to the availability of exotic data types for which traditional neural network architectures are not well suited. Our goal in this paper is to generalize convolutional neural networks (CNN) to the manifold-valued image case which arises commonly in medical imaging and computer vision applications. Explicitly, the input data to the network is an image where each pixel value is a sample from a Riemannian manifold. To achieve this goal, we must generalize the basic building block of traditional CNN architectures, namely, the weighted combinations operation. To this end, we develop a tangent space combination operation which is used to define a convolution operation on manifold-valued images that we call, the Manifold-Valued Convolution (MVC). We prove theoretical properties of the MVC operation, including equivariance to the action of the isometry group admitted by the manifold and characterizing when compositions of MVC layers collapse to a single layer. We present a detailed description of how to use MVC layers to build full, multi-layer neural networks that operate on manifold-valued images, which we call the MVC-net. Further, we empirically demonstrate superior performance of the MVC-nets in medical imaging and computer vision tasks.

研究动机与目标

• 为存在于黎曼流形上的数据（特别是在医学影像和计算机视觉中）缺乏通用且具备几何感知能力的深度学习框架的问题提供解决方案。
• 将标准卷积神经网络中的卷积操作推广至流形值图像，这些图像无法适用传统的向量空间运算。
• 开发一种理论基础坚实的等变卷积机制，以尊重流形的内在几何结构。
• 通过一种基于切空间的新加权组合操作，实现在流形值数据上的多层深度网络构建。
• 通过在真实世界分类任务中的实证评估，证明MVC-Net的有效性，展示其在准确率和效率方面的显著提升。

提出的方法

• 核心创新在于流形值卷积（MVC），其通过切空间组合操作定义，将线性加权组合推广至黎曼流形。
• MVC操作通过将流形值输入映射到参考点处的切空间，在切空间中执行线性组合，然后通过指数映射重新映射回流形来构建。
• 该方法证明了MVC在流形等距群作用下具有等变性，保留了标准卷积神经网络的关键不变性特性。
• 提出一种新型非线性激活函数——切空间修正ReLU（tReLU），通过在切空间中操作并投影回流形，实现网络深度的提升。
• 该架构集成了MVC层与基于先前工作的流形值全连接（MVFC）层，随后连接标准欧几里得全连接层和Softmax层。
• 网络使用标准优化方法（Adam）和交叉熵损失进行训练，并通过10折交叉验证在视频和医学影像基准数据集上进行评估。

实验结果

研究问题

• RQ1 能否设计一种适用于流形值图像的通用卷积神经网络，同时保持几何不变性并支持网络深度？
• RQ2 如何将标准卷积操作推广至黎曼流形，同时保持如等变性等关键属性？
• RQ3 对于流形值特征，是否存在一种有效且可微分的激活函数，能够实现在深层网络中的非线性表达？
• RQ4 所提出的MVC-Net在真实世界应用中，相较于现有方法，在流形值数据上的性能是否更优？
• RQ5 MVC层的组合在何种条件下会退化为单一层？在实际应用中如何避免这种情况？

主要发现

• MVC-Net在MNIST-Sphere数据集上达到100% ± 0.00的测试准确率，显著优于所有基线模型，包括LSTM和GRU。
• 在Moving MNIST视频分类任务中，MVC-Net达到97.0% ± 0.02的准确率，甚至超越了性能最佳的RNN模型（如TT-GRU和TT-LSTM）。
• 该方法展现出卓越的参数效率，在SPD-SRU实验中仅使用738个参数，远少于LSTM（252,342个参数）及同类模型。
• MVC-Net架构表现出极高的训练效率，SPD-SRU任务中每轮训练的推理时间约为2.7秒，显著快于基于RNN的替代方案。
• 理论分析证实，MVC对流形的等距群具有等变性，这是保证泛化能力和权重共享的关键属性。
• 实证结果表明，tReLU在深层网络性能中至关重要，因为缺乏非线性激活的网络无法在单层以上实现有效泛化。