[论文解读] Trivializations for Gradient-Based Optimization on Manifolds

Mario Lezcano-Casado|arXiv (Cornell University)|Sep 20, 2019

Neural Networks and Applications参考文献 52被引用 35

一句话总结

本文提出将流形约束优化转化为无约束问题的平凡化方法，分析了两大类（Riemannian exponential 与 Lie exponential）及其动态扩展，并在矩阵流形和神经网络任务上展示了优化性能的提升。

ABSTRACT

We introduce a framework to study the transformation of problems with manifold constraints into unconstrained problems through parametrizations in terms of a Euclidean space. We call these parametrizations "trivializations". We prove conditions under which a trivialization is sound in the context of gradient-based optimization and we show how two large families of trivializations have overall favorable properties, but also suffer from a performance issue. We then introduce "dynamic trivializations", which solve this problem, and we show how these form a family of optimization methods that lie between trivializations and Riemannian gradient descent, and combine the benefits of both of them. We then show how to implement these two families of trivializations in practice for different matrix manifolds. To this end, we prove a formula for the gradient of the exponential of matrices, which can be of practical interest on its own. Finally, we show how dynamic trivializations improve the performance of existing methods on standard tasks designed to test long-term memory within neural networks.

研究动机与目标

• 通过参数化（平凡化）将受约束的流形优化转化为无约束问题的动机。
• 表征何时平凡化是合理的并在流形上起到度量改变的作用。
• 比较两大类平凡化（Riemannian exponential 与 Lie exponential），并指出它们的局限性。
• 引入在平凡化与黎曼梯度下降之间插值的动态平凡化。
• 提供用于对数矩阵指数参数化和 Lie 参数化的梯度计算工具，并在矩阵流形与神经网络上展示实际收益。

提出的方法

• 将平凡化定义为从 R^n 映射到流形 M 的满射，并在微分同胚下分析其作为度量变化的影响。
• 研究两种主要的平凡化：Riemannian exponential 和 Lie exponential，包括它们的微分同胚性质以及在 cut loci 附近潜在的鞍点。
• 引入动态平凡化，在切换 tangent 空间中的优化与重新参数化之间交替，以穿越鞍点并结合两种方法的优点。
• 推导矩阵指数参数化的梯度公式以实现实际优化 (∇(f∘exp))(A) = (d exp)_{A^T}(∇f(e^A))。
• 讨论常见流形（如 SO(n)）的实际映射回退（retractions）和基于投影的再投射（projection-based retractions）。
• 提供 Lie 指数参数化的梯度计算策略及其在矩阵 Lie 群上的动态平凡化中的应用。

实验结果

研究问题

• RQ1 在何种条件下，平凡化能为流形上的梯度优化提供可靠的变换？
• RQ2 Riemannian 与 Lie exponential 平凡化在各自边界区域（cut locus）附近的表现及其局限性？
• RQ3 动态平凡化是否能缓解鞍点或局部极小值问题，并在平凡化与Riemannian梯度下降之间插值？
• RQ4 如何高效地为矩阵指数和 Lie 指数参数化计算梯度，以用于矩阵流形上的实际优化？
• RQ5 动态平凡化是否在涉及神经网络中流形约束的标准任务上提升性能？

主要发现

• 当 φ 是微分同胚时，平凡化相当于在流形上改变度量，保留梯度方法的收敛性质。
• Riemannian 和 Lie exponential 平凡化可能在 cut locus 或边界区域附近产生鞍点或局部极小值。
• 动态平凡化在平凡化与黎曼梯度下降之间提供连续性，使优化方法能够在切空间利用欧几里得优化器，同时在路径上自适应基底。
• 矩阵指数参数化的梯度公式使基于 Lie 的平凡化的实际应用成为可能，并可实现机器精度的梯度计算。
• 动态平凡化在正交约束任务和标准神经网络记忆基准测试上提升了性能，在 MNIST、p-MNIST 和 Timit 实验中优于现有方法。
• 本文提供了常见矩阵流形的实际实现，并将重射（retractions）和投影作为计算工具进行讨论。