[论文解读] Online Optimization : Competing with Dynamic Comparators

Ali Jadbabaie, Alexander Rakhlin+2 more|arXiv (Cornell University)|Jan 26, 2015

Advanced Bandit Algorithms Research参考文献 13被引用 93

一句话总结

本文提出了一种完全自适应的在线优化算法，其动态遗憾界与三种复杂度度量成比例：比较序列的路径变差（$C_T$）、损失函数的时间可变性（$V_T$）以及梯度的预测误差（$D_T$）。通过结合自适应步长的乐观镜面下降框架，该方法在无需预先知晓这些量的情况下实现了次线性遗憾，优于现有静态和动态遗憾设置下的界限。

ABSTRACT

Recent literature on online learning has focused on developing adaptive algorithms that take advantage of a regularity of the sequence of observations, yet retain worst-case performance guarantees. A complementary direction is to develop prediction methods that perform well against complex benchmarks. In this paper, we address these two directions together. We present a fully adaptive method that competes with dynamic benchmarks in which regret guarantee scales with regularity of the sequence of cost functions and comparators. Notably, the regret bound adapts to the smaller complexity measure in the problem environment. Finally, we apply our results to drifting zero-sum, two-player games where both players achieve no regret guarantees against best sequences of actions in hindsight.

研究动机与目标

• 开发一种在线学习算法，使其能够自适应地适应比较序列的规律性以及自然损失函数的‘友好性’。
• 将依赖于 $C_T$、$V_T$ 和 $D_T$ 的现有遗憾界统一到一个框架中，且无需预先知晓这些度量。
• 通过结合动态遗憾、自适应步长和乐观预测，在完整信息设置下建立次线性遗憾保证。
• 通过利用损失函数中的时间结构，将在线优化的适用范围扩展到非独立同分布和非对抗性环境。
• 在策略随时间变化的双人零和博弈中，展示该方法的有效性，使双方玩家均能对时变最优策略实现无遗憾。

提出的方法

• 该算法采用带有自适应步长的乐观镜面下降（OMD）框架，以在动态环境中平衡探索与利用。
• 通过序列 $\hat{f}_{t-1}$ 引入梯度预测机制，实现依赖于 $D_T = \sum_t \|\nabla f_t(x_t) - M_t\|_*^2$ 的遗憾界。
• 遗憾分析利用了望远镜求和与范数不等式，以界定实际损失与预测损失之间的差异，尤其使用 $\ell_1$ 和 $\ell_\infty$ 范数。
• 关键组件是依赖于 $\log(T^2n)$ 和 $L$ 的步长调度 $\eta_t$，确保即使在 $V_T$ 未知时也能实现收敛。
• 该方法推导出 $\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2$ 的界，以捕捉收益矩阵的时间可变性。
• 该方法建立了与 $C_T(u)$、$V_T$ 和 $D_T$ 成比例的遗憾界，通过统一分析实现对最小复杂度度量的自适应。

实验结果

研究问题

• RQ1 在线算法能否在不预先知晓其值的情况下，实现与比较序列路径变差 $C_T$ 自适应的动态遗憾？
• RQ2 如何利用损失函数的时间可变性 $V_T$ 来改进在线凸优化中的遗憾界？
• RQ3 能否通过一种完全自适应的方式，使单一算法同时实现依赖于多个复杂度度量（$C_T$、$V_T$、$D_T$）的遗憾界？
• RQ4 在具有漂移代价函数的非独立同分布环境中，乐观预测与遗憾最小化之间存在何种相互作用？
• RQ5 在双人零和博弈中，双方玩家能否使用该方法实现对时变最优策略的无遗憾？

主要发现

• 所提出的算法在无需预先知晓 $C_T$ 的情况下，实现了 $\mathcal{O}(\log(T^2n)(C_T + 2)(32L + o(1)))$ 阶的动态遗憾界。
• 遗憾界与 $\sqrt{\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2}$ 成比例，捕捉了收益矩阵的时间可变性。
• 当 $V_T$ 较小时，遗憾界显著改善，实现 $\mathcal{O}(T^{2/3}(V_T + 1)^{1/3})$ 的界，且在梯度存在噪声时与已知结果一致，但无需预先知晓 $V_T$。
• 该方法在策略漂移的双人零和博弈中实现了次线性遗憾，双方玩家以依赖于 $C_T$ 和 $V_T$ 的速率收敛至平均极小极大均衡。
• 分析表明，遗憾界自适应于三个复杂度度量中的最小者：$C_T$、$V_T$ 和 $D_T$，从而统一优于先前工作。
• 即使一方玩家不诚实，该算法的性能依然稳健，遗憾界保持次线性，且仅依赖于对手策略的变化和学习者自身的预测误差。