[论文解读] Online mirror descent and dual averaging: keeping pace in the dynamic case

Fang Huang, Nicholas J. A. Harvey+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research参考文献 23被引用 19

一句话总结

本文提出了一种在线镜像下降（OMD）的稳定化技术，使其在动态学习率下能够达到与对偶平均（DA）相同的遗憾性能——此前这一差距尚未被克服。通过模块化地修改经典OMD收敛性分析，作者证明了稳定化OMD在多种场景下（包括专家建议和复合代价函数）均能达到与DA相同的次线性遗憾界，并给出了两种算法生成相同迭代序列的充分条件。

ABSTRACT

Online mirror descent (OMD) and dual averaging (DA) -- two fundamental algorithms for online convex optimization -- are known to have very similar (and sometimes identical) performance guarantees when used with a fixed learning rate. Under dynamic learning rates, however, OMD is provably inferior to DA and suffers a linear regret, even in common settings such as prediction with expert advice. We modify the OMD algorithm through a simple technique that we call stabilization. We give essentially the same abstract regret bound for OMD with stabilization and for DA by modifying the classical OMD convergence analysis in a careful and modular way that allows for straightforward and flexible proofs. Simple corollaries of these bounds show that OMD with stabilization and DA enjoy the same performance guarantees in many applications -- even under dynamic learning rates. We also shed light on the similarities between OMD and DA and show simple conditions under which stabilized-OMD and DA generate the same iterates.

研究动机与目标

• 解决在动态学习率下在线镜像下降（OMD）与对偶平均（DA）之间存在的根本性能差距。
• 弥合OMD在动态学习率下产生线性遗憾而DA保持次线性O(√T)遗憾的差距。
• 通过引入一种稳定化技术，统一OMD与DA的理论分析，同时保持其收敛性特性。
• 通过近端变体将分析扩展至复合代价函数。
• 识别出稳定化OMD与DA生成相同迭代序列的充分条件。

提出的方法

• 为OMD引入一种稳定化技术，通过修改更新规则以提升在动态学习率下的性能。
• 以模块化、灵活的方式重构经典OMD收敛性分析，以整合稳定化机制。
• 推导出仅依赖于迭代序列之间Bregman散度的稳定化OMD的抽象遗憾界，与DA的遗憾界一致。
• 利用稳定化OMD框架，在专家建议和复合优化场景下证明匹配的遗憾界。
• 建立稳定化OMD与DA生成相同迭代序列的条件，与固定学习率情形相一致。
• 将分析适配至复合代价函数，通过双稳定化近端OMD的变体实现。

实验结果

研究问题

• RQ1 能否通过修改OMD，使其在动态学习率下达到与DA相同的遗憾性能，而此前OMD在该情况下会遭受线性遗憾？
• RQ2 OMD更新规则的何种结构变化足以弥合与DA的遗憾差距？
• RQ3 在何种条件下，即使学习率随时间变化，稳定化OMD与DA也会生成相同的迭代序列？
• RQ4 稳定化OMD框架能否在复合优化问题中实现与正则化DA相同的遗憾界？
• RQ5 Bregman散度在统一OMD与DA的遗憾分析中起到何种作用？

主要发现

• 在动态学习率下，稳定化OMD实现了与DA相同的O(√T)遗憾界，解决了已知的性能差距。
• 在专家建议场景中，即使使用动态学习率，稳定化OMD也达到了最优的O(√T ln n)遗憾界。
• 本文提供了简洁的证明，表明稳定化OMD实现了首阶遗憾界，其依赖于最优专家的代价而非T。
• 作者识别出简单充分条件，使得稳定化OMD与DA生成相同的迭代序列，从而统一了二者的行为。
• 对于复合代价函数，双稳定化近端OMD的变体实现了与正则化DA相同的遗憾界。
• 分析表明，通过稳定化，标准OMD在动态速率下的Ω(T)遗憾下界被避免，实现了次线性遗憾。