[论文解读] Riemannian batch normalization for SPD neural networks

Daniel Brooks, Olivier Schwander+3 more|arXiv (Cornell University)|Sep 3, 2019

Neural Networks and Applications被引用 56

一句话总结

本论文为对称正定（SPD）神经网络引入一种黎曼批归一化层，利用 SPD 流形的几何性质（质心、平行运输）以及 SPD 约束学习，并在雷达、情感和动作数据集上展示了更高的准确性与鲁棒性。

ABSTRACT

Covariance matrices have attracted attention for machine learning applications due to their capacity to capture interesting structure in the data. The main challenge is that one needs to take into account the particular geometry of the Riemannian manifold of symmetric positive definite (SPD) matrices they belong to. In the context of deep networks, several architectures for these matrices have recently been proposed. In our article, we introduce a Riemannian batch normalization (batchnorm) algorithm, which generalizes the one used in Euclidean nets. This novel layer makes use of geometric operations on the manifold, notably the Riemannian barycenter, parallel transport and non-linear structured matrix transformations. We derive a new manifold-constrained gradient descent algorithm working in the space of SPD matrices, allowing to learn the batchnorm layer. We validate our proposed approach with experiments in three different contexts on diverse data types: a drone recognition dataset from radar observations, and on emotion and action recognition datasets from video and motion capture data. Experiments show that the Riemannian batchnorm systematically gives better classification performance compared with leading methods and a remarkable robustness to lack of data.

研究动机与目标

• 阐明使用 SPD 矩阵进行学习的动机，以及需要尊重它们的黎曼几何。
• 使用几何结构（质心、平行运输）在 SPD 流形上定义批归一化。
• 提出在训练过程中保持 SPD 约束的学习算法。
• 在多样的数据集上评估该方法，以评估准确性和数据效率。
• 提供一个开源的 PyTorch 实现以实现可重复性。

提出的方法

• 引入一个黎曼批归一化（RBN）层，附加在每个 BiMap 层之后的 SPD 网络。
• 使用黎曼质心（Fréchet 均值）计算批均值，并通过黎曼测地线更新运行均值。
• 使用 SPD 平行运输在质心、单位和一个学习的 SPD 偏置 G 之间对 SPD 批进行居中和偏置。
• 通过非线性结构矩阵函数（平方根和逆平方根）进行反向传播，使用矩阵感知的链式法则。
• 通过流形感知梯度投影和指数映射更新，将偏置参数 G 约束为保持 SPD。
• 提供一个开源的 PyTorch 库以实现可重复实现。

实验结果

研究问题

• RQ1 将黎曼批归一化引入到基于 SPD 的网络中，是否比欧几里得或未归一化的 SPD 网络在分类上更优？
• RQ2 在不同数据模态（雷达、视频情感、动作捕捉）的训练数据稀缺情况下，RBN 的表现如何？
• RQ3 SPD 流形操作（质心、平行运输）能否在端到端学习中通过反向传播集成而不破坏 SPD 约束？

主要发现

• RBN 在 NATO 雷达无人机数据集和合成数据上，始终优于 SPDNet 和具有竞争力的欧几里得基线的分类准确率。
• SPDNetBN 在参数数量相近或更少的情况下实现更高的准确率（例如在 NATO 数据上，87.2% 对比 SPDNet 的 85.4%）。
• SPDNetBN 对有限的训练数据表现出鲁棒性，在仅使用 10% 的数据时仍保持性能。
• 在情感识别（AFEW）和动作识别（HDM05）上，SPDNetBN 在多种架构上比 SPDNet 取得更高的准确率。
• 该方法使训练时间适度增加（例如在一个引用实验中最深模型：+8.6%），但带来显著的性能提升和数据效率。
• 该工作通过一个开源的 PyTorch 实现提供可重复的结果。