[论文解读] On Symplectic Optimization

Michael Betancourt, Michael I. Jordan+1 more|arXiv (Cornell University)|Feb 10, 2018

Model Reduction and Neural Networks参考文献 10被引用 41

一句话总结

论文提出了一个有原则性的方法流程，通过对 Bregman 动力学进行辛积分离散化，产生具有oracle-rate 收敛性和相对于传统离散化的稳定性优势的加速梯度方法。

ABSTRACT

Accelerated gradient methods have had significant impact in machine learning -- in particular the theoretical side of machine learning -- due to their ability to achieve oracle lower bounds. But their heuristic construction has hindered their full integration into the practical machine-learning algorithmic toolbox, and has limited their scope. In this paper we build on recent work which casts acceleration as a phenomenon best explained in continuous time, and we augment that picture by providing a systematic methodology for converting continuous-time dynamics into discrete-time algorithms while retaining oracle rates. Our framework is based on ideas from Hamiltonian dynamical systems and symplectic integration. These ideas have had major impact in many areas in applied mathematics, but have not yet been seen to have a relationship with optimization.

研究动机与目标

• 激励优化中的加速及其与连续时间动力学的联系。
• 提供一个系统性的方法，在保持 oracle 速率的同时将连续时间加速离散化。
• 利用哈密顿力学和辛积分推导出一个生成式优化框架。
• 提供一个实用、稳定的离散化，与连续时间加速相映照。
• 探索在流形设置和随机目标下的扩展及影响。

提出的方法

• 将优化建模为一个 Bregman Lagrangian 系统，具有随时间变化的动能和势能。
• 进行 Legendre 变换得到 Bregman Hamiltonian 并提升到一个自治的扩展系统。
• 通过哈密顿分裂构造对称的 leapfrog（扩展）积分器以保持对称性。
• 应用时间扩增（扩展）相空间以实现自治、保持结构的积分。
• 推导具体更新规则并与广义 Nesterov 离散化进行比较。
• 可选地增加梯度流项以分析在最小值附近的指数收敛。

实验结果

研究问题

• RQ1 连续时间加速动力学如何离散化以在离散时间算法中保留 oracle-rate 收敛？
• RQ2 通过扩展哈密顿框架的辛积分是否能产生稳定高效的加速优化方法？
• RQ3 辛积分优化与现有离散时间加速方法（如广义 Nesterov 离散化）之间的性能与稳定性取舍是什么？

主要发现

• 辛积分优化在所测试的问题上实现了与广义 Nesterov 离散化相当的收敛速率（实验中大致 O(t^-2.95)。
• 扩展 leapfrog 积分器保持动力学对称性，并允许比某些离散化更大的稳定步长，从而减少迭代和计算。
• 辛积分方法在离散时间上达到 oracle 速率，同时每次迭代所需的梯度评估更少。
• 引入梯度流项可以在二次目标接近最小值时恢复指数收敛，尽管这会改变底层哈密顿对称性。
• 随机目标可能以不同方式影响辛方法，需通过向后误差和动力学视角进一步分析。