[论文解读] Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses

Yihan Zhou, Victor Sanches Portella+2 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 26被引用 7

一句话总结

本文首次建立了在相对利普希茨连续性和相对强凸性条件下在线凸优化的次线性后悔界，扩展了经典的FTRL和OMD算法。它证明了相对利普希茨损失下的$O(\sqrt{T})$后悔，以及相对强凸损失下的$O(\log T)$后悔，并将结果推广至复合目标函数和正则化问题。

ABSTRACT

In online convex optimization (OCO), Lipschitz continuity of the functions is commonly assumed in order to obtain sublinear regret. Moreover, many algorithms have only logarithmic regret when these functions are also strongly convex. Recently, researchers from convex optimization proposed the notions of "relative Lipschitz continuity" and "relative strong convexity". Both of the notions are generalizations of their classical counterparts. It has been shown that subgradient methods in the relative setting have performance analogous to their performance in the classical setting. In this work, we consider OCO for relative Lipschitz and relative strongly convex functions. We extend the known regret bounds for classical OCO algorithms to the relative setting. Specifically, we show regret bounds for the follow the regularized leader algorithms and a variant of online mirror descent. Due to the generality of these methods, these results yield regret bounds for a wide variety of OCO algorithms. Furthermore, we further extend the results to algorithms with extra regularization such as regularized dual averaging.

研究动机与目标

• 将经典在线凸优化的后悔界扩展至相对利普希茨和相对强凸的设定。
• 在弱化连续性假设下，分析FTRL和一种在线镜像下降变体（DS-OMD）的性能。
• 推导复合损失函数的后悔界，例如包含$\ell_1$-正则化的稀疏性目标。
• 证明基础OCO算法在不依赖经典利普希茨连续性假设下仍能保持良好的收敛速率。
• 填补对OMD和FTRL在相对强凸性下是否实现对数后悔的理解空白。

提出的方法

• 通过Bregman散度和参考函数$\Phi$的形式化定义相对利普希茨连续性的概念。
• 将跟随正则化领导者（FTRL）框架扩展，引入正则化函数$\Psi$和Bregman投影。
• 利用Bregman散度的广义三点恒等式，将后悔界表示为Bregman散度和正则化项的函数。
• 采用步长调度$\eta_t = \sqrt{K}/(L\sqrt{t})$，以平衡Bregman散度与正则化项之间的权衡。
• 通过引入稳定系数$\gamma_t = \eta_{t+1}/\eta_t$，将分析扩展至对偶稳定化OMD（DS-OMD）。
• 通过将损失函数视为相对利普希茨函数与凸正则化器$\Psi$之和，推导复合后悔界。

实验结果

研究问题

• RQ1 在不依赖经典利普希茨假设的前提下，FTRL能否在相对利普希茨连续性下实现$O(\sqrt{T})$的后悔？
• RQ2 在Bregman散度意义下的相对强凸性是否能导致在线设置中$O(\log T)$的后悔？
• RQ3 后悔界能否推广至包含$\ell_1$-范数或其他正则化器的复合目标？
• RQ4 与经典设定相比，FTRL和DS-OMD在相对光滑性和相对凸性下的表现如何？
• RQ5 该分析能否推广至其他OCO算法（如正则化对偶平均，RDA）？

主要发现

• 本文建立了当损失函数相对于Bregman散度为相对利普希茨连续时，FTRL和DS-OMD的$O(\sqrt{T})$后悔界。
• 当损失函数还具有相对强凸性时，证明了相同的算法可实现$O(\log T)$的后悔界，将经典结果推广至相对设定。
• 当$\eta_t = \sqrt{K}/(L\sqrt{t})$时，后悔界为$\operatorname{Regret}_{T}^\Psi(z) \leq 2L\sqrt{K(T+1)}$，其中$K \geq D_\Phi(z,x_1)$。
• 通过将正则化器$\Psi$纳入后悔分解，该分析适用于复合目标，如$\ell_1$-正则化。
• 通过归约方法，该结果可推广至其他OCO算法，包括正则化对偶平均（RDA）和内维尔的对偶平均。
• 该框架无需假设经典利普希茨连续性，即可实现收敛速率分析，从而扩大了在线学习算法的适用范围。