[论文解读] Practical Riemannian Neural Networks

Gaétan Marceau-Caron, Yann Ollivier|arXiv (Cornell University)|Feb 25, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用 15

一句话总结

本文提出了一种实用的准对角黎曼神经网络优化方法，通过计算高效的自然梯度近似，实现了对参数缩放和激活函数变化的不变性。该方法在MNIST、SVHN、FACES和EEG数据集上持续优于SGD和AdaGrad，计算开销约为2倍，且收敛速度显著更快。

ABSTRACT

We provide the first experimental results on non-synthetic datasets for the quasi-diagonal Riemannian gradient descents for neural networks introduced in [Ollivier, 2015]. These include the MNIST, SVHN, and FACE datasets as well as a previously unpublished electroencephalogram dataset. The quasi-diagonal Riemannian algorithms consistently beat simple stochastic gradient gradient descents by a varying margin. The computational overhead with respect to simple backpropagation is around a factor $2$. Perhaps more interestingly, these methods also reach their final performance quickly, thus requiring fewer training epochs and a smaller total computation time. We also present an implementation guide to these Riemannian gradient descents for neural networks, showing how the quasi-diagonal versions can be implemented with minimal effort on top of existing routines which compute gradients.

研究动机与目标

• 在真实、非合成数据集上实现并评估准对角黎曼梯度下降算法。
• 证明这些黎曼方法在保持计算可行性的同时，能够保留关键的不变性特性，如对激活函数选择或输入编码变化的不敏感性。
• 表明这些方法即使在极少超参数调优的情况下，也能实现比标准SGD和AdaGrad更快的收敛速度和更优的最终性能。
• 提供实用的实现指南，使这些算法能够以极少的代码修改集成到现有深度学习框架中。
• 验证自然梯度的不变性特性可通过有效近似实现，而无需承担完整Fisher信息矩阵计算的全部计算成本。

提出的方法

• 该方法基于自然梯度框架中的准对角黎曼度量，可在参数和激活函数的仿射变换下保持不变性。
• 引入两个关键过程：QDRankOneUpdate用于更新预条件矩阵，QDSolve用于利用低秩校正结构高效求解线性系统。
• 算法依赖于按参数跟踪梯度和平方梯度（类似于RMSProp和AdaGrad），从而可重用现有的梯度计算流水线。
• 预条件矩阵被设计为近似对角，仅包含少数精心选择的非对角项，从而在保持对缩放和符号翻转变换不变性的同时实现快速求逆。
• 方法中引入了微小的数值正则化项（ε = 10⁻⁸），以确保矩阵可逆性而不破坏不变性，该参数选择基于数值稳定性。
• 该方法被应用于分类任务和自编码器任务，包括具有高斯输出和学习到的方差的重建任务，在MNIST、SVHN、FACES和EEG数据集上进行了测试。

实验结果

研究问题

• RQ1 准对角黎曼优化方法是否能在真实世界、非合成数据集上优于标准SGD和AdaGrad？
• RQ2 在实际中，这些黎曼方法在参数缩放和激活函数变化（如sigmoid与tanh）下，其不变性特性在多大程度上得以保持？
• RQ3 与标准反向传播相比，这些方法的计算开销如何？其性能提升是否足以证明计算成本的增加？
• RQ4 这些方法是否比标准算法收敛更快，从而减少所需训练轮数和总计算时间？
• RQ5 在不同数据分布和网络架构下（包括具有学习到的输出方差的自编码器），这些方法的表现如何？

主要发现

• 准对角黎曼算法在所有测试数据集（包括MNIST、SVHN、FACES和EEG）上均持续优于SGD和AdaGrad，性能提升程度因数据集而异。
• 在FACES数据集上，黎曼方法（尤其是QDOP）在少数轮次内将均方误差降至45以下，而SGD和AdaGrad即使在大量轮次后仍停滞在约45附近。
• 在EEG数据集上，黎曼方法取得了显著但不如FACES数据集那样显著的性能提升，表明其在多样化数据类型上的鲁棒性。
• 在具有学习到的输出方差的MNIST自编码器实验中，即使真实噪声模型偏离了假设的对角高斯分布，QDOP仍是最高效的算法。
• 黎曼方法在训练初期的收敛速度显著更快，可更早达到最终性能，从而减少总训练时间。
• 与标准反向传播相比，计算开销约为2倍，使该方法在实际部署中具备可行性。