[论文解读] Revisiting Smoothed Online Learning

Lijun Zhang, Wei Jiang+2 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Bandit Algorithms Research参考文献 58被引用 4

一句话总结

本文通過優化方法提出一種簡單而有效的策略，重新探討平滑在線學習，以平衡損失成本與切換成本。該方法針對凸的、具有 $\lambda$-二次增長特性的函數，實現了改進的競爭比——最高達 $1 + \frac{2}{\sqrt{\lambda}}$——並提出 Smoothed Ader 算法，其在切換成本下達到了最佳的 $O(\sqrt{T(1+P_T)})$ 動態違背邊界，且通過匹配的下界得到驗證。

ABSTRACT

In this paper, we revisit the problem of smoothed online learning, in which the online learner suffers both a hitting cost and a switching cost, and target two performance metrics: competitive ratio and dynamic regret with switching cost. To bound the competitive ratio, we assume the hitting cost is known to the learner in each round, and investigate the simple idea of balancing the two costs by an optimization problem. Surprisingly, we find that minimizing the hitting cost alone is $\max(1, \frac{2}α)$-competitive for $α$-polyhedral functions and $1 + \frac{4}λ$-competitive for $λ$-quadratic growth functions, both of which improve state-of-the-art results significantly. Moreover, when the hitting cost is both convex and $λ$-quadratic growth, we reduce the competitive ratio to $1 + \frac{2}{\sqrtλ}$ by minimizing the weighted sum of the hitting cost and the switching cost. To bound the dynamic regret with switching cost, we follow the standard setting of online convex optimization, in which the hitting cost is convex but hidden from the learner before making predictions. We modify Ader, an existing algorithm designed for dynamic regret, slightly to take into account the switching cost when measuring the performance. The proposed algorithm, named as Smoothed Ader, attains an optimal $O(\sqrt{T(1+P_T)})$ bound for dynamic regret with switching cost, where $P_T$ is the path-length of the comparator sequence. Furthermore, if the hitting cost is accessible in the beginning of each round, we obtain a similar guarantee without the bounded gradient condition, and establish an $Ω(\sqrt{T(1+P_T)})$ lower bound to confirm the optimality.

研究动机与目标

• 通過分析僅最小化損失成本與加權和最小化的性能，改進平滑在線學習中的競爭比邊界。
• 開發考慮切換成本的動態違背邊界，使其能適應比較序列的路徑長度正則性。
• 通過匹配的 $\Omega(\sqrt{T(1+P_T)})$ 下界，確立所提算法的最優性。
• 通過分析損失成本函數的不同假設，統一競爭比與動態違背邊界之間的洞察。
• 通過平滑在線學習為切換約束學習與持續學習提供理論基礎。

提出的方法

• 在每輪中提出最小化損失成本與切換成本的加權和作為一種貪心策略，以平衡兩者成本。
• 分析在 $\alpha$-多面體與 $\lambda$-二次增長函數下的競爭比，推導出 $\max(1, \frac{2}{\alpha})$ 和 $1 + \frac{4}{\lambda}$ 的邊界。
• 提出 Smoothed Ader (SAder)，即對 Ader 的改進版本，將切換成本納入性能評估。
• 在具有隱藏損失成本的標準在線凸優化下，為 SAder 推導出 $O(\sqrt{T(1+P_T)})$ 的動態違背邊界。
• 開發 SAder 的前瞻變體，利用對損失成本的先驗知識，實現相同邊界而不依賴有界梯度假設。
• 建立匹配的 $\Omega(\sqrt{T(1+P_T)})$ 下界，以確認動態違背邊界的最優性。

实验结果

研究问题

• RQ1 僅最小化損失成本是否能在 $\alpha$-多面體與 $\lambda$-二次增長函數下，實現優於現有方法的競爭比？
• RQ2 對於凸的、$\lambda$-二次增長函數，最小化損失與切換成本加權和的貪心算法可達成何種競爭比？
• RQ3 能否通過考慮切換成本的改進 Ader 算法，實現考慮切換成本的動態違背邊界的最優邊界？
• RQ4 所提出的 Smoothed Ader 算法是否在路徑長度正則性下實現最優的 $O(\sqrt{T(1+P_T)})$ 動態違背邊界？
• RQ5 該 $O(\sqrt{T(1+P_T)})$ 边界是否緊緻，如通過匹配的 $\Omega(\sqrt{T(1+P_T)})$ 下界所確認？

主要发现

• 僅最小化損失成本時，對於 $\alpha$-多面體函數，可達 $\max(1, \frac{2}{\alpha})$-競爭比，優於先前結果。
• 對於 $\lambda$-二次增長函數，僅最小化損失成本可達 $1 + \frac{4}{\lambda}$-競爭比，顯著優於當前最先进水平。
• 當損失成本同時為凸且具有 $\lambda$-二次增長時，最小化損失與切換成本加權和可達 $1 + \frac{2}{\sqrt{\lambda}}$-競爭比。
• 所提出的 Smoothed Ader (SAder) 算法在考慮切換成本下，達到了 $O(\sqrt{T(1+P_T)})$ 的動態違背邊界，與理論下界匹配。
• SAder 的前瞻變體在無需有界梯度假設下，亦達成相同邊界，確認了結果的魯棒性。
• 建立了 $\Omega(\sqrt{T(1+P_T)})$ 的下界，證明 $O(\sqrt{T(1+P_T)})$ 動態違背邊界為最優。