[论文解读] Optimization algorithms inspired by the geometry of dissipative systems

Alessandro Bravetti, Maria L. Daza–Torres+2 more|arXiv (Cornell University)|Dec 6, 2019

Model Reduction and Neural Networks参考文献 24被引用 5

一句话总结

本文提出了一类源自接触几何动力系统的优化算法，该类系统天然地对优化过程中的能量耗散进行建模。通过使用保持结构的几何接触积分器，该方法实现了达到Oracle下界的速度的加速收敛，同时在数值稳定性方面优于以往的几何方法。

ABSTRACT

Accelerated gradient methods are a powerful optimization tool in machine learning and statistics but their development has traditionally been driven by heuristic motivations. Recent research, however, has demonstrated that these methods can be derived as discretizations of dynamical systems, which in turn has provided a basis for more systematic investigations, especially into the structure of those dynamical systems and their structure-preserving discretizations. In this work we introduce dynamical systems defined through a contact geometry which are not only naturally suited to the optimization goal but also subsume all previous methods based on geometric dynamical systems. These contact dynamical systems also admit a natural, robust discretization through geometric contact integrators. We illustrate these features in paradigmatic examples which show that we can indeed obtain optimization algorithms that achieve oracle lower bounds on convergence rates while also improving on previous proposals in terms of stability.

研究动机与目标

• 开发一种系统化的几何框架，用于加速优化方法的研究，超越启发式推导。
• 解决现有加速梯度方法中存在不稳定性和理论基础薄弱的问题。
• 在单一、更通用的动力系统框架下统一先前的几何优化方法。
• 设计稳健的、保持结构的离散化方法，以保持连续系统的物理与几何特性。
• 实现与优化理论Oracle下界相匹配的收敛速度。

提出的方法

• 本文将优化问题表述为由接触几何控制的连续动力系统，该系统天然地对能量耗散进行建模。
• 提出了一类广义的接触动力系统，可统一并涵盖所有先前基于哈密顿或梯度系统的几何优化模型。
• 采用几何接触积分器对系统进行离散化，以保持连续动力学的底层几何结构。
• 证明这些积分器在数值扰动下依然具有鲁棒性和稳定性。
• 将该方法应用于典型优化问题，以展示其收敛性能。
• 理论分析表明，所得算法可实现最优收敛速度。

实验结果

研究问题

• RQ1 能否构建一个统一的几何框架，以系统化地推导加速优化算法？
• RQ2 如何利用动力系统的保持结构特性来提升算法的稳定性？
• RQ3 接触几何系统是否天然支持优化中的最优收敛速度？
• RQ4 几何接触积分器在鲁棒性方面能否优于标准离散化方案？
• RQ5 能否通过几何启发的方法实现收敛速度的Oracle下界？

主要发现

• 所提出的接触动力系统广义化并包含了所有基于哈密顿或梯度系统的先前几何优化模型。
• 几何接触积分器为连续系统提供了稳定且鲁棒的离散化，保持了关键的物理与几何特性。
• 所得优化算法的收敛速度与理论Oracle下界完全匹配。
• 与以往的几何方法相比，该方法在数值稳定性和收敛鲁棒性方面均有提升。
• 在典型示例上的实证验证确认了理论结论，并展示了更优的性能表现。
• 该框架为设计加速优化算法提供了原则性且基于几何的理论基础。