[论文解读] Online learning with feedback graphs and switching costs

Anshuka Rangi, Massimo Franceschetti|arXiv (Cornell University)|Oct 23, 2018

Advanced Bandit Algorithms Research参考文献 32被引用 5

一句话总结

本文為帶反饋圖與切換成本的線上學習提出期望損失的下界，並顯示原本在無切換成本時表現最佳的標準演算法，在引入切換成本後會變得次優。本文提出兩種新演算法——基於閾值的 EXP3 與 EXP3.SC，可在對稱部分資訊與多臂Bandit設定下達成階次最佳的損失，且基於閾值的 EXP3 在實驗評估中表現優於既有方法。

ABSTRACT

We study online learning when partial feedback information is provided following every action of the learning process, and the learner incurs switching costs for changing his actions. In this setting, the feedback information system can be represented by a graph, and previous works studied the expected regret of the learner in the case of a clique (Expert setup), or disconnected single loops (Multi-Armed Bandits (MAB)). This work provides a lower bound on the expected regret in the Partial Information (PI) setting, namely for general feedback graphs --excluding the clique. Additionally, it shows that all algorithms that are optimal without switching costs are necessarily sub-optimal in the presence of switching costs, which motivates the need to design new algorithms. We propose two new algorithms: Threshold Based EXP3 and EXP3. SC. For the two special cases of symmetric PI setting and MAB, the expected regret of both of these algorithms is order optimal in the duration of the learning process. Additionally, Threshold Based EXP3 is order optimal in the switching cost, whereas EXP3. SC is not. Finally, empirical evaluations show that Threshold Based EXP3 outperforms the previously proposed order-optimal algorithms EXP3 SET in the presence of switching costs, and Batch EXP3 in the MAB setting with switching costs.

研究动机与目标

• 建立在部分資訊（PI）設定下，帶反饋圖與切換成本之線上學習的期望損失下界。
• 證明在無切換成本時表現最佳的演算法，一旦引入切換成本，必然變得次優。
• 設計新演算法，以在 PI 設定下平衡損失與切換成本。
• 在實驗中比較所提演算法與現有最先进方法的表現。

提出的方法

• 推導出任何反饋圖序列 G₁,…,GT 的獨立序列數 β(G₁:T) 表示下界之期望損失。
• 提出基於閾值的 EXP3，利用觀察到的損失動態調整動作選擇，以平衡損失與切換成本。
• 提出 EXP3.SC 作為 EXP3 的變體，針對切換成本進行調整，採用修改過的探索策略。
• 使用 mas(G) 參數（最大無環子圖大小）來描述時變反饋圖中的損失界限。
• 透過根據損失估計與成本懲罰調整機率更新規則，將 EXP3 框架適應於切換成本。
• 使用敵意損失產生器進行模擬，以評估在不同反饋圖結構與切換成本下的表現。

实验结果

研究问题

• RQ1 在部分資訊設定下，帶反饋圖與切換成本之線上學習的期望損失，其根本下界為何？
• RQ2 為何在無切換成本設定下表現階次最佳的現有演算法，在引入切換成本後會變得次優？
• RQ3 能否設計出在 PI 設定下，於時間 T 與切換成本 c 均達成階次最佳損失的新演算法？
• RQ4 在存在切換成本的情境下，基於閾值的 EXP3 與 EXP3.SET 的表現如何比較？
• RQ5 在 MAB 與 PI 設定下，使用觀察到的反饋資訊是否顯著改善損失與切換成本之間的權衡？

主要发现

• 在帶切換成本的 PI 設定下，任何演算法的期望損失至少為 Õ(c¹ᐟ³β(G₁:T)¹ᐟ³T²ᐟ³)，其中 β(G₁:T) 為獨立序列數。
• 基於閾值的 EXP3 在時 invariant 的 PI 設定下達成 Õ(c¹ᐟ³mas(G)¹ᐟ³T²ᐟ³) 的損失，此結果在 c 與 T 上均為階次最佳。
• EXP3.SC 達成 Õ(c⁴ᐟ³mas(G)²ᐟ³T²ᐟ³) 的損失，與下界相比，在切換成本 c 上為次優。
• 在帶切換成本的 PI 設定下，基於閾值的 EXP3 優於 EXP3.SET，後者在損失與切換次數上均呈現線性增長。
• 在 MAB 設定下，基於閾值的 EXP3 優於 Batch EXP3，特別是在 T 增大時，因其有效利用觀察到的損失資訊。
• 當 β(G₁:T) 減小時，不同演算法之間的表現差距會擴大，凸顯反饋結構在降低切換成本下之損失的重要性。