[论文解读] The Interplay Between Stability and Regret in Online Learning

Ankan Saha, Prateek Jain+1 more|arXiv (Cornell University)|Nov 26, 2012

Advanced Bandit Algorithms Research参考文献 25被引用 10

一句话总结

本文引入了前向遗憾（forward regret）作为一种新颖的度量，用于连接在线学习中的稳定性与遗憾，证明在稳定性条件下，有界前向遗憾等价于一般非凸问题下的有界遗憾。该研究提出一个统一框架，简化了遗憾分析，并为FTRL、IOL和RDA等算法及其不精确（近似）变体推导出更紧的界。

ABSTRACT

This paper considers the stability of online learning algorithms and its implications for learnability (bounded regret). We introduce a novel quantity called {\em forward regret} that intuitively measures how good an online learning algorithm is if it is allowed a one-step look-ahead into the future. We show that given stability, bounded forward regret is equivalent to bounded regret. We also show that the existence of an algorithm with bounded regret implies the existence of a stable algorithm with bounded regret and bounded forward regret. The equivalence results apply to general, possibly non-convex problems. To the best of our knowledge, our analysis provides the first general connection between stability and regret in the online setting that is not restricted to a particular class of algorithms. Our stability-regret connection provides a simple recipe for analyzing regret incurred by any online learning algorithm. Using our framework, we analyze several existing online learning algorithms as well as the "approximate" versions of algorithms like RDA that solve an optimization problem at each iteration. Our proofs are simpler than existing analysis for the respective algorithms, show a clear trade-off between stability and forward regret, and provide tighter regret bounds in some cases. Furthermore, using our recipe, we analyze "approximate" versions of several algorithms such as follow-the-regularized-leader (FTRL) that requires solving an optimization problem at each step.

研究动机与目标

• 建立在线学习中稳定性与遗憾之间的一般性关联，且不局限于凸问题或特定算法族。
• 解决在线对抗设置中缺乏类似批量学习中ERM的规范学习方案的问题。
• 开发一个框架，利用稳定性和前向遗憾简化现有在线算法的遗憾分析。
• 分析在优化过程以小误差求解时，在线算法近似版本的遗憾。
• 探讨近似计算是否可作为在线学习中类似正则化或扰动的稳定性来源。

提出的方法

• 将在线稳定性定义为“剔除最后一条”特性，衡量对最新损失的敏感性。
• 引入前向遗憾，即学习者在做决策前已看到当前损失时所产生的遗憾（一步前瞻）。
• 证明在稳定性条件下，有界前向遗憾等价于有界遗憾，且有界遗憾蕴含存在一个具有有界前向遗憾的稳定算法。
• 利用损失函数的强凸性和Lipschitz连续性，推导出稳定性和前向遗憾的界。
• 将该框架应用于分析FTRL、IOL、RDA和COMiD，通过稳定性和前向遗憾的权衡推导遗憾界。
• 通过在每一步使用精度参数δt界定引入的误差，分析算法的近似版本，证明在适当的δt衰减速率下可实现次线性遗憾。

实验结果

研究问题

• RQ1 在无凸性假设的通用在线学习设置下，能否利用稳定性和前向遗憾刻画有界遗憾？
• RQ2 在稳定性条件下，有界遗憾与有界前向遗憾之间是否存在普遍等价性，适用于多种在线算法？
• RQ3 所提出的稳定-遗憾框架能否简化并收紧对FTRL和IOL等知名算法的现有遗憾分析？
• RQ4 优化精度δt应达到何种水平，才能确保在线算法近似版本的遗憾界与精确版本相当？
• RQ5 近似计算本身是否可作为在线学习中的稳定机制，类似于正则化？

主要发现

• 在稳定性条件下，对于任意在线学习算法，即使在非凸设置下，有界前向遗憾也等价于有界遗憾。
• 任何具有有界遗憾的算法均可转化为一个具有有界遗憾和有界前向遗憾的稳定算法。
• 该框架简化了FTRL、IOL、RDA和COMiD的遗憾分析，在某些情况下得出了比先前方法更紧的界。
• 对于采用近似优化的IOL，当δt = 1/t时，遗憾为R_T = O(L√D T^{3/4})；当δt = 1/t²时，遗憾为R_T = ~O(L√D T^{1/2})，包含对数因子。
• 分析表明，若优化误差δt衰减足够快（如δt = 1/t或1/t²），则近似算法可实现次线性遗憾。
• 该框架表明，近似计算本身可作为有效的稳定性来源，即使优化未精确求解，也能实现遗憾保证。