[论文解读] Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems

Molei Tao, Tomoki Ohsawa|arXiv (Cornell University)|Jan 27, 2020

Optimization and Variational Analysis被引用 6

一句话总结

本文在李群上提出了变分Nesterov加速梯度（NAG）动力学，将向量空间中的NAG变分原理推广至流形。推导出适用于李群（特别是SO(n)）的连续和结构保持的离散算法，保持群成员资格与能量守恒，实验证明在广义特征值问题（包括MNIST上的LDA）中收敛性更优。

ABSTRACT

The article considers smooth optimization of functions on Lie groups. By generalizing NAG variational principle in vector space (Wibisono et al., 2016) to Lie groups, continuous Lie-NAG dynamics which are guaranteed to converge to local optimum are obtained. They correspond to momentum versions of gradient flow on Lie groups. A particular case of $\\mathsf{SO}(n)$ is then studied in details, with objective functions corresponding to leading Generalized EigenValue problems: the Lie-NAG dynamics are first made explicit in coordinates, and then discretized in structure preserving fashions, resulting in optimization algorithms with faithful energy behavior (due to conformal symplecticity) and exactly remaining on the Lie group. Stochastic gradient versions are also investigated. Numerical experiments on both synthetic data and practical problem (LDA for MNIST) demonstrate the effectiveness of the proposed methods as optimization algorithms ($not$ as a classification method).

研究动机与目标

• 将Nesterov加速梯度（NAG）变分原理从向量空间推广至李群，实现在曲面流形上的动量优化。
• 在李群上构建保持几何结构（如群成员资格与能量行为）的连续与离散动力系统。
• 将该框架应用于核心数据科学与线性代数中的非凸优化问题——广义特征值问题（GEV）。
• 在真实数据（如MNIST数据集上的线性判别分析LDA）上展示所提方法的有效性，不以达到最先进分类性能为目标。
• 证明方法对特征值间隙条件不敏感，且超参数调优需求极低，收敛速度优于现有方法（如GHA）

提出的方法

• 将Wibisono等人（2016）在向量空间中对NAG的变分原理推广至李群，得到李群上的连续Lie-NAG动力学，其形式为李群切丛上的二阶常微分方程。
• 利用李代数通过左平凡化表达速度，推导出SO(n)上Lie-NAG动力学的显式坐标表达式。
• 采用保辛容许积分器对连续动力学进行离散化，以保持能量行为并确保精确满足李群流形约束。
• 在动力学中引入校正耗散项以稳定收敛，尤其针对NAG-C，解决非零温度下数值不变分布带来的问题。
• 通过使用目标Hessian的批量近似，将框架适配至随机梯度，引入校正项以在存在方差的情况下维持收敛性。
• 为公平比较，采用改进版GHA算法（基于四阶龙格-库塔法），仅在精度不足时使用欧拉积分。

实验结果

研究问题

• RQ1 Nesterov加速梯度（NAG）变分原理能否从向量空间推广至李群，同时保持其收敛性与动量优势？
• RQ2 李群上的连续NAG动力学能否在坐标上显式表达，特别是针对SO(n)？其几何与动力学特性为何？
• RQ3 对Lie-NAG动力学进行结构保持离散化，能否产生始终精确位于李群上且能量守恒的优化算法？
• RQ4 在真实数据（如MNIST上的LDA）上，所提Lie-NAG方法与GHA等现有算法相比，在收敛速度与鲁棒性方面表现如何？
• RQ5 在缺乏特征值间隙的条件下，所提方法是否仍有效？该条件常导致基于幂法的算法收敛受阻。

主要发现

• 所提Lie-NAG动力学收敛至局部极小值，在合成与真实世界的广义特征值问题中，收敛速度显著优于标准李群梯度下降（Lie-GD）与GHA。
• 在MNIST数据集上的多类LDA任务中，Lie-NAG-C与Lie-NAG-SC算法收敛速度远超GHA，且仅需极少超参数调优。
• NAG-C中的校正耗散项实现稳定收敛，防止因数值不变分布导致的非零误差水平下的停滞现象。
• Lie-NAG方法不依赖特征值间隙，表现出强鲁棒性，而基于幂法的算法在无间隙条件下常失效或显著变慢。
• 数值实验表明，离散算法能精确保持在李群（SO(n)）上，且因保辛容许性而维持能量行为，偏差仅源于机器精度。
• 算法的随机变体在批量梯度近似下仍保持收敛，其中校正耗散项在长期性能中起关键作用。