[论文解读] Proximal Online Gradient is Optimum for Dynamic Regret

Yawei Zhao, Shuang Qiu+1 more|arXiv (Cornell University)|Oct 8, 2018

Advanced Bandit Algorithms Research参考文献 49被引用 11

一句话总结

本文通過證明一個與 POG 上界僅相差常數因子的一般性下界，確立了近端在線梯度（POG）在在線學習中動態違規性上的最優性。它引入了一種帶有時間加權變異參數 $\beta$ 的廣義動態約束，表明 POG 可實現 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ 的違規性，該結果與推導出的下界一致，從而證明在此框架下動態違規性的最優性。

ABSTRACT

In online learning, the dynamic regret metric chooses the reference (optimal) solution that may change over time, while the typical (static) regret metric assumes the reference solution to be constant over the whole time horizon. The dynamic regret metric is particularly interesting for applications such as online recommendation (since the customers' preference always evolves over time). While the online gradient method has been shown to be optimal for the static regret metric, the optimal algorithm for the dynamic regret remains unknown. In this paper, we show that proximal online gradient (a general version of online gradient) is optimum to the dynamic regret by showing that the proved lower bound matches the upper bound that slightly improves existing upper bound.

研究动机与目标

• 確定在線梯度方法是否在動態違規性上最優，特別是其對動態參數 $D_0$ 的依存關係。
• 通過引入以 $\beta$ 為參數的時間加權變異約束，推廣動態違規性框架，從而實現對演化參考序列更靈活的建模。
• 推導動態違規性的一個新一般性下界，以捕捉在在線學習中追蹤非平穩環境的本質難度。
• 通過證明 POG 實現了時間範圍 $T$ 和動態性 $D_\beta$ 之間的最佳權衡，彙集現有上界與理論下限之間的差距。

提出的方法

• 本文引入了一種廣義動態約束 $\mathcal{L}_{D_\beta}^T$，透過使用時間加權因子 $t^\beta$ 來限制參考序列 $\{{\bf y}_t\}$ 的總變異。
• 分析了適用於複合目標函數 $f_t({\bf x}) = F_t({\bf x}) + H({\bf x})$ 的近端在線梯度（POG）演算法，其中 $F_t$ 為凸函數，$H$ 為閉合且凸的函數。
• 分析過程中使用 Bregman 散度來界定違規性，並引入一個關鍵不等式，將迭代點的 Bregman 散度與梯度和步長聯繫起來。
• 採用非遞增的步長調度，以控制追蹤誤差與優化誤差之間的權衡。
• 上界證明依賴於 Bregman 散度的錯位求和，並運用 Bregman 散度的三角不等式性質。
• 透過構造一個最壞情況的函數序列，推導出一個新穎的下界，迫使任何演算法至少產生 $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ 的違規性。

实验结果

研究问题

• RQ1 在線梯度方法在動態違規性上是否最優？還是更聰明的演算法能實現對動態參數 $D_0$ 更佳的依存關係？
• RQ2 追蹤非平穩環境的難度如何隨時間和最佳解序列變化速率而變化？
• RQ3 能否推導出一個一般性下界，以捕捉廣泛在線學習問題中動態違規性的本質極限？
• RQ4 近端在線梯度（POG）演算法是否達到了此下界，從而證明其在動態違規性上的最優性？

主要发现

• 在廣義動態約束 $\mathcal{L}_{D_\beta}^T$ 下，近端在線梯度（POG）演算法實現了動態違規性的上界 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$，該結果推廣了先前的研究結果。
• 當 $\beta = 0$ 時，該上界簡化為 $\mathcal{O}(\sqrt{T} + \sqrt{T} D_0)$，與標準動態違規性的已知結果一致。
• 當 $\beta > 0$ 時，若 $D_\beta < D_0 T^\beta$，則該上界相較於 $\beta = 0$ 時的情況有所改進，反映出在時間加權約束下對動態性的更佳依存關係。
• 本文推導出動態違規性的通用下界 $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$，該下界與 POG 的上界僅相差常數因子。
• 下界與上界的一致性證明了在所提出的廣義框架下，POG 對動態違規性是最優的。
• 該結果表明，在給定的動態約束下，任何演算法均無法實現優於 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$ 的違規性界限，從而確立了 POG 為最優演算法。