[论文解读] Riemannian Adaptive Optimization Algorithm and Its Application to Natural Language Processing

Hiroyuki Sakai, Hideaki Iiduka|arXiv (Cornell University)|Apr 2, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用 4

一句话总结

本文提出了一种黎曼自适应优化算法，将AMSGrad扩展至黎曼流形，实现了在恒定学习率下直接求解黎曼随机优化问题。该方法在双曲空间嵌入（如Poincaré嵌入）和主成分分析任务中，相较于现有算法表现出更快且更稳定的收敛性，尤其在WordNet层次结构任务中显著优于RSGD、RAdaGrad和RAdam。

ABSTRACT

This paper proposes a Riemannian adaptive optimization algorithm to optimize the parameters of deep neural networks. The algorithm is an extension of both AMSGrad in Euclidean space and RAMSGrad on a Riemannian manifold. The algorithm helps to resolve two issues affecting RAMSGrad. The first is that it can solve the Riemannian stochastic optimization problem directly, in contrast to RAMSGrad which only achieves a low regret. The other is that it can use constant learning rates, which makes it implementable in practice. Additionally, we apply the proposed algorithm to Poincar{é} embeddings, which embed the transitive closure of the WordNet nouns into the Poincar{é} ball model of hyperbolic space. Numerical experiments show that regardless of the initial value of the learning rate, our algorithm stably converges to the optimal solution and converges faster than RSGD, the most basic Riemannian stochastic optimization algorithm.

研究动机与目标

• 解决RAMSGrad的局限性，其仅实现遗憾最小化且需要递减学习率。
• 开发一种直接求解流形上黎曼优化问题的黎曼自适应优化算法。
• 通过支持恒定学习率，实现实际部署，避免以往方法因学习率消失而失效的问题。
• 将该算法应用于自然语言处理任务，特别是用于层次化数据的Poincaré嵌入。
• 与现有黎曼优化方法相比，证明其在收敛速度和稳定性方面具有优越性。

提出的方法

• 提出一种改进的RAMSGrad算法（算法1），通过黎曼几何操作（如指数映射和并行传输）将欧氏空间的AMSGrad扩展至黎曼流形。
• 基于二阶动量估计实现自适应学习率，并通过自适应方差估计平方根的倒数缩放进行重加权。
• 将算法应用于双曲空间的庞加莱球模型，该流形结构天然适合建模WordNet等层次化数据。
• 在标准假设下进行收敛性分析，证明该算法在恒定和递减学习率下均能收敛。
• 提出一种新颖的遗憾界分析，证明算法可直接收敛至最优解，而非仅实现遗憾最小化。
• 采用类Adam的黎曼更新规则，结合平滑映射（retraction）与向量传输，确保迭代点始终位于流形上。

实验结果

研究问题

• RQ1 能否设计一种黎曼自适应优化算法，直接求解黎曼优化问题，而非仅最小化遗憾？
• RQ2 能否通过使用恒定学习率而非递减学习率，使此类算法更具实用性？
• RQ3 在Poincaré嵌入任务中，该算法是否比现有黎曼自适应方法（如RSGD、RAdaGrad和RAdam）收敛更快且更稳定？
• RQ4 在Poincaré嵌入和主成分分析等不同学习问题中，恒定学习率与递减学习率的选择如何影响性能表现？
• RQ5 在真实世界自然语言处理应用中，该算法能否在不同初始学习率下保持鲁棒性能？

主要发现

• 在WordNet哺乳动物子树的Poincaré嵌入任务中，所提算法收敛至最优解的速度显著快于RSGD、RAdaGrad和RAdam。
• 无论初始学习率取值如何，算法均表现出稳定的收敛性，显示出对超参数初始化的鲁棒性。
• 在恒定学习率设置下，该算法在收敛速度和稳定性方面优于现有方法，尤其在双曲空间嵌入任务中表现突出。
• 收敛性分析在标准假设下证明了算法可直接收敛至最优解，而非仅实现遗憾最小化。
• 在主成分分析任务中，算法性能得到提升，其收敛行为在使用恒定与递减学习率时因数据集而异。
• 理论分析证明了该算法在恒定和递减学习率下均能收敛，其中推论3.1确认了恒定学习率在实际应用中的可行性。