[论文解读] Optimal Dynamic Regret in Exp-Concave Online Learning

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Apr 23, 2021

Advanced Bandit Algorithms Research参考文献 34被引用 8

一句话总结

该论文在非正规学习框架下，首次建立了指数凸在线学习的最优动态遗憾界 $\tilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$，借助强自适应算法与基于KKT的分析方法。该结果弥合了已知下界与先前上界之间的长期差距，并实现了一种新型、无需超参数调节的局部自适应非参数回归算法，显著提升了灵活性与性能。

ABSTRACT

We consider the problem of the Zinkevich (2003)-style dynamic regret minimization in online learning with exp-concave losses. We show that whenever improper learning is allowed, a Strongly Adaptive online learner achieves the dynamic regret of $ ilde O^*(n^{1/3}C_n^{2/3} \vee 1)$ where $C_n$ is the total variation (a.k.a. path length) of the an arbitrary sequence of comparators that may not be known to the learner ahead of time. Achieving this rate was highly nontrivial even for squared losses in 1D where the best known upper bound was $O(\sqrt{nC_n} \vee \log n)$ (Yuan and Lamperski, 2019). Our new proof techniques make elegant use of the intricate structures of the primal and dual variables imposed by the KKT conditions and could be of independent interest. Finally, we apply our results to the classical statistical problem of locally adaptive non-parametric regression (Mammen, 1991; Donoho and Johnstone, 1998) and obtain a stronger and more flexible algorithm that do not require any statistical assumptions or any hyperparameter tuning.

研究动机与目标

• 弥合指数凸在线学习中动态遗憾的已知下界 $\Omega^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ 与先前上界之间的差距。
• 开发一种无需事先知晓路径变化 $C_n$ 的方法，以实现最优动态遗憾。
• 将理论结果应用于局部自适应非参数回归，获得更强且更灵活的算法，无需统计假设或超参数调优。
• 证明非平稳环境中，非正规学习结合强自适应算法可实现最优动态遗憾。

提出的方法

• 利用强自适应（SA）在线学习算法，在时间范围的所有子区间上控制遗憾。
• 提出一种新颖的遗憾分解方法，分为三部分：$T_{1,i}$（FLH 与改进专家之间的比较）、$T_{2,i}$（改进专家与平均值之间的比较）和 $T_{3,i}$（平均值与真实比较器之间的比较）。
• 应用KKT条件分析，利用指数凸损失的对偶-对偶结构，实现对遗憾分量的紧致上界。
• 采用带提示的追随领先者（FLH）框架，结合专家算法（如ONS、OGD），并根据局部曲率与梯度有界性进行定制。
• 引入一种改进的比较器 $\dot{\boldsymbol{u}}_i$，以考虑梯度漂移，并在每个时间区间内确保稳定性。
• 利用 $\ell_2$-范数与 $\ell_\infty$-范数不等式推导维度相关上界，并利用指数凸性与强凸性假设。

实验结果

研究问题

• RQ1 强自适应算法能否在非正规学习框架下，于指数凸在线学习中实现最优动态遗憾率 $\tilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$？
• RQ2 是否可能在不事先知晓路径变化 $C_n$ 的前提下实现该最优率？
• RQ3 该理论框架能否应用于改进非参数回归中的现有方法，而无需超参数调优或统计假设？
• RQ4 对偶变量的KKT结构在实现指数凸损失更紧致遗憾界中起到何种作用？
• RQ5 与先前最优状态的上界 $O^{*}(\sqrt{nC_n} \vee \log n)$ 相比，该方法在 $n$ 与 $C_n$ 上的依赖关系如何？

主要发现

• 该论文在非正规学习框架下，为指数凸在线学习中的动态遗憾建立了新的上界 $\tilde{O}^{*}(n^{1/3}C_n^{2/3} \vee \log n)$。
• 该上界与已知的 $\Omega^{*}(n^{1/3}C_n^{2/3} \vee \log n)$ 下界完全匹配，证明了在指数凸设置下的最优性。
• 该方法无需事先知晓路径变化 $C_n$，因此可自适应于未知的非平稳性。
• 对于强凸损失，遗憾界可进一步优化为 $O\left(\frac{(G^\dagger)^2 \log n}{H}\right)$，反映出更快的收敛速度。
• 该方法可实现一种新型局部自适应非参数回归算法，无需统计假设或超参数调优。
• 基于KKT的对偶-对偶结构分析，提供了一项新颖的技术工具，具有超越动态遗憾问题的更广泛应用潜力。