[论文解读] Second-Order Non-Stationary Online Learning for Regression

Nina Vaits, Edward Moroshko+1 more|arXiv (Cornell University)|Mar 1, 2013

Advanced Bandit Algorithms Research参考文献 38被引用 21

一句话总结

本文提出了两种用于非平稳环境回归的二阶在线学习算法：ARCOR 通过自适应协方差重置来遗忘过时信息；LASER 是一种考虑漂移的最后一步极小化极大最优预测器。两种算法相对于最佳缓慢变化线性函数序列均实现了次线性遗憾，且在平稳情况下遗憾为对数级别，优于先前在动态环境中的方法。

ABSTRACT

The goal of a learner, in standard online learning, is to have the cumulative loss not much larger compared with the best-performing function from some fixed class. Numerous algorithms were shown to have this gap arbitrarily close to zero, compared with the best function that is chosen off-line. Nevertheless, many real-world applications, such as adaptive filtering, are non-stationary in nature, and the best prediction function may drift over time. We introduce two novel algorithms for online regression, designed to work well in non-stationary environment. Our first algorithm performs adaptive resets to forget the history, while the second is last-step min-max optimal in context of a drift. We analyze both algorithms in the worst-case regret framework and show that they maintain an average loss close to that of the best slowly changing sequence of linear functions, as long as the cumulative drift is sublinear. In addition, in the stationary case, when no drift occurs, our algorithms suffer logarithmic regret, as for previous algorithms. Our bounds improve over the existing ones, and simulations demonstrate the usefulness of these algorithms compared with other state-of-the-art approaches.

研究动机与目标

• 为解决标准在线学习算法仅与固定函数竞争的局限性，这在自适应滤波等非平稳现实应用中不充分。
• 设计适用于回归任务中目标函数漂移的二阶在线学习算法。
• 在累积漂移为次线性的情况下，确保最坏情况下的遗憾保持较低，使性能接近最佳缓慢变化线性函数序列。
• 将现有二阶方法（如 AROWR、AAR）扩展至非平稳环境，并提供理论保证。
• 为漂移下的最后一步极小化极大最优预测器提供动态规划解法，从而实现一种新型算法（LASER）。

提出的方法

• ARCOR 通过基于二阶信息矩阵演化引入自适应协方差重置，扩展了 AROWR，而非使用固定时间间隔。
• 该算法递归更新逆协方差矩阵，并在矩阵显示与历史数据显著偏离时执行重置。
• LASER 通过求解一个动态规划递推关系，推导出在漂移下最后一步极小化极大最优预测器，该关系假设当前步骤为最终步骤。
• 该方法将预测建模为对权重向量的极小化极大优化，将漂移约束纳入遗憾界推导。
• 两种算法均在最坏情况遗憾框架下进行分析，利用协方差矩阵的迹与行列式不等式推导出边界。
• 理论分析利用矩阵恒等式与递推关系，界定了算法累积损失与任意权重向量序列累积损失之间的差异。

实验结果

研究问题

• RQ1 二阶在线学习算法是否能在最优函数随时间漂移的非平稳环境中维持低遗憾？
• RQ2 如何设计二阶信息的自适应重置机制，以提升漂移回归任务中的性能？
• RQ3 能否为漂移下的回归推导出最后一步极小化极大最优预测器？其与其它自适应方法相比表现如何？
• RQ4 当累积漂移为次线性时，此类算法的理论遗憾边界是什么？
• RQ5 所提出的算法在非平稳环境中与平稳对应方法及最先进方法相比表现如何？

主要发现

• ARCOR 实现了形如 $ \mathcal{O}(T^{1/2} V^{(2)1/2}) $ 的遗憾边界，其中 $ V^{(2)} $ 为累积漂移，在累积漂移为次线性时确保次线性遗憾。
• LASER 实现了 $ \mathcal{O}(\sqrt{Y^2 d M T V^{(2)}}) $ 的遗憾边界，当 $ V^{(2)} $ 为次线性增长时，该边界在 $ T $ 上为次线性。
• 当无漂移发生时，两种算法均退化为其平稳对应版本（如 AROWR、AAR），恢复对数遗憾。
• 理论分析确认，两种算法的累积损失相对于任意缓慢变化线性函数序列均受界，而不仅限于单一固定函数。
• 仿真结果表明，ARCOR 与 LASER 在非平稳回归任务中优于现有最先进方法。
• LASER 的动态规划方法实现了在漂移下最后一步极小化极大最优预测器的精确计算，为在线学习领域带来全新贡献。