[论文解读] Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond

Jianjun Yuan, Andrew Lamperski|arXiv (Cornell University)|Sep 6, 2019

Advanced Bandit Algorithms Research参考文献 18被引用 5

一句话总结

本文通过分析带有遗忘因子的折扣在线牛顿法，提出了一种统一框架，用于在在线最小二乘学习中权衡静态 regret 与动态 regret。研究证明，通过合理调参，这些算法可实现动态 regret 为 $ \max\{O(\log T), O(\sqrt{TV})\}$，其中 $V$ 为比较序列的路径长度，同时通过梯度下降的自适应步长规则，实现了静态 regret 与动态 regret 之间的权衡。

ABSTRACT

Recursive least-squares algorithms often use forgetting factors as a heuristic to adapt to non-stationary data streams. The first contribution of this paper rigorously characterizes the effect of forgetting factors for a class of online Newton algorithms. For exp-concave and strongly convex objectives, the algorithms achieve the dynamic regret of $\max\{O(\log T),O(\sqrt{TV})\}$, where $V$ is a bound on the path length of the comparison sequence. In particular, we show how classic recursive least-squares with a forgetting factor achieves this dynamic regret bound. By varying $V$, we obtain a trade-off between static and dynamic regret. In order to obtain more computationally efficient algorithms, our second contribution is a novel gradient descent step size rule for strongly convex functions. Our gradient descent rule recovers the order optimal dynamic regret bounds described above. For smooth problems, we can also obtain static regret of $O(T^{1-β})$ and dynamic regret of $O(T^βV^*)$, where $β\in (0,1)$ and $V^*$ is the path length of the sequence of minimizers. By varying $β$, we obtain a trade-off between static and dynamic regret.

研究动机与目标

• 对递归最小二乘算法中遗忘因子在非平稳数据流中的影响进行严格分析。
• 建立静态 regret（对平稳环境的泛化能力）与动态 regret（对变化环境的跟踪能力）之间的权衡。
• 开发一种计算高效的梯度下降步长规则，实现对强凸且光滑函数的阶最优动态 regret 边界。
• 在折扣框架下，统一分析在线牛顿法与递归最小二乘法。
• 以最优序列 $\theta_t^*$ 的路径长度 $V^*$ 表示 regret 边界，从而在无需统计假设的前提下提供性能保证。

提出的方法

• 提出一种折扣在线牛顿算法，该算法同时推广了带有遗忘因子的递归最小二乘法与原始的在线牛顿法。
• 使用折扣参数 $\gamma \in (0,1)$ 来加权历史观测值，从而实现对非平稳环境的适应。
• 通过分析 Bregman 散度以及 Hessian 近似矩阵 $P_t$ 的演化，推导出 regret 边界。
• 提出一种新颖的梯度下降步长规则，其依赖于路径长度 $V^*$ 和光滑性参数 $\beta$，从而实现静态 regret 与动态 regret 之间的权衡。
• 采用类似李雅普诺夫的分析方法，将累积 regret 边界控制在初始误差、梯度范数以及 Hessian 逆矩阵衰减的范围内。
• 利用矩阵集中与特征值界，控制 Hessian 近似矩阵的条件数，确保收敛性。

实验结果

研究问题

• RQ1 递归最小二乘法中的遗忘因子能否在动态 regret 的框架下被严格分析？其对应的边界是什么？
• RQ2 如何设计单一算法，使其在平稳环境下的静态 regret 与在非平稳环境下的动态 regret 之间实现平衡？
• RQ3 对于强凸且光滑的函数，静态 regret 与动态 regret 之间的最优权衡是什么？
• RQ4 是否能够设计一种计算高效的梯度下降规则，使其达到与更复杂的在线牛顿方法相同的阶最优 regret 边界？
• RQ5 最优序列 $\theta_t^*$ 的路径长度 $V^*$ 如何影响在线学习中的动态 regret？

主要发现

• 折扣在线牛顿方法在指数凹与强凸目标函数下，实现动态 regret $\mathcal{R}_d \leq \max\{O(\log T), O(\sqrt{TV})\}$，其中 $V$ 为比较序列的路径长度。
• 经典的带有遗忘因子的递归最小二乘法也达到了相同的动态 regret 边界，为该方法的启发式使用提供了严格的理论依据。
• 通过调节遗忘因子 $\gamma = 1 - 1/T^\alpha$，算法可实现静态 regret $\mathcal{R}_s = O(T^{1-\alpha})$（$\alpha \in (0,1)$），从而在静态与动态性能之间实现权衡。
• 对于光滑问题，所提出的梯度下降规则可实现静态 regret $O(T^{1-\beta})$ 与动态 regret $O(T^\beta V^*)$（$\beta \in (0,1)$），其中 $V^*$ 为最优序列 $\theta_t^*$ 的路径长度。
• 该分析无需对噪声或数据分布做统计假设，因此适用于对抗性与非随机环境。
• 该方法提供了一个统一框架，将在线牛顿法、递归最小二乘法与自适应梯度下降统一在折扣优化范式之下。