[论文解读] Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits

Lingda Wang, Huozhi Zhou+3 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Bandit Algorithms Research参考文献 47被引用 6

一句话总结

本文提出了 GLRT-CascadeUCB 和 GLRT-CascadeKL-UCB 兩種近乎最佳的演算法，適用於分段平穩的級聯 bandit 問題，利用廣義似然比檢定（GLRT）進行變更點檢測。這些演算法達成 $\mathcal{O}(\sqrt{NLT\log T})$ 的損失界，與最小最大下界 $\Omega(\sqrt{NLT})$ 相比僅差一個 $\sqrt{\log T}$ 因子，且相較於先前方法，對 $L$ 的依賴更小，所需調校參數也更少。

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $Ω(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

研究动机与目标

• 為了解決靜態級聯 bandit 模型在現實應用中使用者偏好隨時間變化的限制。
• 發展主動適應的演算法，能在不依賴與變更點相關參數的情況下檢測使用者偏好之變更點。
• 透過減少對項目數 $L$ 的依賴，改善分段平穩級聯 bandit 問題的損失界。
• 建立分段平穩級聯 bandit 問題的最小最大損失下界，以驗證演算法的最優性。
• 在合成資料與真實世界資料集上，展示所提演算法相較於最先进方法的實務優勢。

提出的方法

• 所提演算法使用廣義似然比檢定（GLRT）作為無參數的變更點檢測器，以識別使用者偏好分佈的變化。
• GLRT-CascadeUCB 和 GLRT-CascadeKL-UCB 是透過將 GLRT 與 UCB 及 KL-UCB 原理整合於級聯 bandit 問題中所導出。
• 演算法透過在檢測到變更點時重設探索策略，動態適應變更，確保在非平穩環境中持續學習。
• 損失分析利用集中不等式與變更點檢測誤差界，推導出 $\mathcal{O}(\sqrt{NLT\log T})$ 的上界。
• 推導出最小最大損失下界 $\Omega(\sqrt{NLT})$，證明所提演算法在 $\sqrt{\log T}$ 因子內近乎最優。
• 數值實驗使用合成資料與 Yahoo! 新聞點擊資料集，參數設定為 $L=6$，$K=2$，$T=90000$，$N=9$，以驗證效能。

实验结果

研究问题

• RQ1 能否有效應用如 GLRT 之類的無參數變更點檢測方法於分段平穩級聯 bandit 問題，以提升適應性並減少調校？
• RQ2 在分段平穩環境下，主動適應的級聯 bandit 演算法的理論損失界為何？
• RQ3 所提損失界與現有被動適應方法相比，其對 $L$、$N$ 和 $T$ 的依賴關係為何？
• RQ4 所提損失上界是否在對數因子內最優？能否透過最小最大下界確認？
• RQ5 所提演算法在實務上與最先进基線方法相比，在真實世界與合成資料上的表現如何？

主要发现

• 所提之 GLRT-CascadeUCB 與 GLRT-CascadeKL-UCB 達成 $\mathcal{O}(\sqrt{NLT\log T})$ 的損失界，相較於先前被動適應方法，分別改善了 $\sqrt{L}$ 與 $\sqrt{L\log T}$ 個因子。
• 分段平穩級聯 bandit 問題的最小最大損失下界確立為 $\Omega(\sqrt{NLT})$，證明所提演算法在 $\sqrt{\log T}$ 因子內近乎最優。
• 在合成資料集中，GLRT-CascadeUCB 與 GLRT-CascadeKL-UCB 在 $T=90000$ 時的累積損失分別為 $527.93 \pm 25.20$ 與 $440.93 \pm 45.54$，顯著優於 CascadeSWUCB ($664.84 \pm 29.81$) 與 CascadeDUCB ($1180.30 \pm 20.22$)。
• 在 Yahoo! 資料集中，所提演算法分別達成 $1235.21 \pm 54.59$ 與 $856.77 \pm 67.16$ 的損失，優於 CascadeSWUCB ($1519.56 \pm 52.23$) 與 CascadeDUCB ($3226.97 \pm 39.37$)。
• 基於 GLRT 的演算法能精確且快速地檢測變更點，在合成資料與 Yahoo! 資料集中的平均檢測時間均落在真實變更點的 100–200 步之內。
• 儘管在 Yahoo! 資料集中違反了假設 2，基於 GLRT 的演算法仍能有效檢測變更點，其檢測時間接近實際變更點。