[论文解读] Optimization on manifolds: A symplectic approach

Guilherme França, Alessandro Barp+2 more|arXiv (Cornell University)|Jul 23, 2021

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种基于耗散型狄拉克约束哈密顿系统扩展的辛几何框架，用于流形上的优化。该框架提出了一种新型耗散型RATTLE积分器，能够保持连续时间下的收敛速率，实现对光滑流形上约束优化问题（包括非线性约束和李群问题）的最优局部收敛，相较于黎曼梯度流，展现出更优的稳定性与可扩展性。

ABSTRACT

Optimization tasks are crucial in statistical machine learning. Recently, there has been great interest in leveraging tools from dynamical systems to derive accelerated and robust optimization methods via suitable discretizations of continuous-time systems. However, these ideas have mostly been limited to Euclidean spaces and unconstrained settings, or to Riemannian gradient flows. In this work, we propose a dissipative extension of Dirac's theory of constrained Hamiltonian systems as a general framework for solving optimization problems over smooth manifolds, including problems with nonlinear constraints. We develop geometric/symplectic numerical integrators on manifolds that are "rate-matching," i.e., preserve the continuous-time rates of convergence. In particular, we introduce a dissipative RATTLE integrator able to achieve optimal convergence rate locally. Our class of (accelerated) algorithms are not only simple and efficient but also applicable to a broad range of contexts.

研究动机与目标

• 开发一种适用于光滑流形上约束优化的通用几何框架，超越欧几里得或无约束设置。
• 将狄拉克约束哈密顿系统理论通过引入耗散项进行扩展，以在流形上建模加速动力学。
• 设计保持底层动力系统连续时间收敛速率的几何/辛数值积分器。
• 为具有非线性等式与不等式约束的流形优化问题实现最优局部收敛速率。
• 展示所提方法相较于黎曼梯度流在稳定性与可扩展性方面的优势，尤其在大规模问题（如正交Procrustes问题与SSK问题）中表现更优。

提出的方法

• 将狄拉克约束哈密顿系统理论的耗散扩展形式作为流形上优化的连续时间动力学进行公式化。
• 提出一种几何积分器——耗散型RATTLE，其能保持连续系统的辛结构与速率匹配特性。
• 通过余切丛上的哈密顿公式将方法应用于约束优化，确保内在的几何一致性。
• 基于预辛积分器框架推导流形上的耗散测地线方程，实现稳定高效的数值积分。
• 通过耗散型蛙跳积分器将方法适配至李群，尊重群结构并避免投影误差。
• 利用影子性质证明离散动力学长期稳定且收敛于真实解。

实验结果

研究问题

• RQ1 能否设计一种辛几何积分器，以保持流形上连续时间耗散哈密顿系统在流形上的收敛速率？
• RQ2 如何将狄拉克约束哈密顿系统理论通过引入耗散项进行扩展，以在非线性约束流形上建模加速优化？
• RQ3 耗散型RATTLE积分器在实现流形上约束优化问题的最优局部收敛中起到何种作用？
• RQ4 所提方法在稳定性与可扩展性方面相较于黎曼梯度流如何表现，尤其在正交Procrustes等大规模问题中？
• RQ5 该框架能否推广以同时处理黎曼流形上的等式与不等式约束，同时保持几何一致性与收敛性保证？

主要发现

• 耗散型RATTLE积分器在流形上的约束优化中实现了最优局部收敛速率，与连续时间动力学保持一致。
• 该方法在稳定性与可扩展性方面显著优于黎曼梯度下降，尤其在大问题规模下（如n=1000），其中算法1（DissRATTLE）保持稳定，而算法3（DissLeapfrogLie）在相同步长下发生发散。
• 在正交Procrustes问题中，所提方法收敛所需迭代次数显著少于黎曼梯度流，n=100时迭代次数减少约100倍。
• 该方法允许比梯度流更大的步长，从而实现更快收敛——例如，当步长调整至α=0.95且h=Cλmax(M)时，算法3的收敛速度比图中所示更快。
• 蒙特卡洛实验结果表明，该方法在n=100问题的100次运行中，收敛迭代次数更少且精度更高（相对误差≈10⁻⁸），优于梯度流。
• 图9的热力图证实，该方法对α与步长C的参数变化具有鲁棒性，在广泛参数范围内均保持低相对误差。