[论文解读] Reducing Dueling Bandits to Cardinal Bandits

Nir Ailon, Thorsten Joachims+1 more|arXiv (Cornell University)|May 14, 2014

Advanced Bandit Algorithms Research参考文献 20被引用 35

一句话总结

本文提出了三種轉換方法——Doubler、MultiSBM 和 Sparring——將 Dueling Bandits 問題轉化為傳統的 Multi-Armed Bandit（MAB）框架，從而使現有的 MAB 算法得以應用。該工作首次在二階項中實現近乎最佳的損失界，並證明了 MultiSBM 的漸近最優性，而 Sparring 在實驗中表現優於先前方法。

ABSTRACT

We present algorithms for reducing the Dueling Bandits problem to the conventional (stochastic) Multi-Armed Bandits problem. The Dueling Bandits problem is an online model of learning with ordinal feedback of the form "A is preferred to B" (as opposed to cardinal feedback like "A has value 2.5"), giving it wide applicability in learning from implicit user feedback and revealed and stated preferences. In contrast to existing algorithms for the Dueling Bandits problem, our reductions -- named $\Doubler$, $\MultiSbm$ and $\DoubleSbm$ -- provide a generic schema for translating the extensive body of known results about conventional Multi-Armed Bandit algorithms to the Dueling Bandits setting. For $\Doubler$ and $\MultiSbm$ we prove regret upper bounds in both finite and infinite settings, and conjecture about the performance of $\DoubleSbm$ which empirically outperforms the other two as well as previous algorithms in our experiments. In addition, we provide the first almost optimal regret bound in terms of second order terms, such as the differences between the values of the arms.

研究动机与目标

• 透過在序數反饋設定中應用現有的 MAB 算法，彙整 Dueling Bandits 與傳統 Multi-Armed Bandits 之間的差距。
• 為保留底層 MAB 算法性能的轉換方法提供理論損失界。
• 建立一個通用的架構，將已知的 MAB 結果轉化至 Dueling Bandits 設定。
• 在時間範圍 T 和二階項（如臂值差異）上均實現漸近最優性。
• 實驗評估並比較所提出的轉換方法與現有算法（包括 BTMB 和 IF）的表現。

提出的方法

• Doubler 透過為每對臂中的每一個獨立模擬一個 MAB 實例，並使用對稱反饋機制，將 Dueling Bandits 降為 MAB。
• MultiSBM 使用對稱且平衡的取樣策略，維持兩個獨立的 MAB 學習器，確保在成對比較中對左、右兩臂的對待均等。
• Sparring 採用類似淘汰賽的機制，將臂配對，勝者晉級，模擬體育賽事以減少損失。
• 所有轉換方法均將 MAB 算法視為黑箱，允許任何具有已知損失界之現有 MAB 算法直接套用。
• 轉換方法設計旨在保留底層 MAB 算法的損失特性，其中 Doubler 產生 O(log T) 的額外損失，而 MultiSBM 實現漸近最優性。
• 理論分析聚焦於線性連結函數下的損失界，其他連結函數的擴展見附錄。

实验结果

研究问题

• RQ1 是否能系統性地將 Dueling Bandits 降為標準 Multi-Armed Bandits，同時保留損失保證？
• RQ2 在使用黑箱 MAB 算法將 Dueling Bandits 降為 MAB 時，最小損失過載為何？
• RQ3 所提出的轉換方法是否不僅在 T 上實現漸近最優，也在二階項（如臂值差異）上實現漸近最優？
• RQ4 所提出的轉換方法與現有 Dueling Bandits 算法（如 BTMB 和 IF）相比，實驗表現如何？
• RQ5 Sparring 的實驗表現優於其他方法，其理論基礎是否可透過損失界得到解釋？

主要发现

• MultiSBM 在時間範圍 T 和二階項上均實現漸近最優損失，其損失僅在低階項上與 UCB 相當。
• 與底層 MAB 算法相比，Doubler 額外引入 O(log T) 的損失因子，但對多項式損失 MAB，此額外因子降為 O(1)。
• Sparring 在所有測試情境中實驗表現優於所有其他算法（包括 BTMB 和 IF），儘管其損失界仍屬猜想。
• 所提出的轉換方法允許將任何現有的 MAB 算法作為黑箱使用，顯著擴展了已知 MAB 結果在序數反饋設定中的適用性。
• 實驗結果確認，MultiSBM 和 IF 是損失表現最佳的算法，其中 MultiSBM 在多種臂值與連結函數配置下均表現出穩定優勢。
• 這些轉換方法在不同設定下均具備魯棒性，包括 YJ 基準測試，即使未經修改直接套用，仍能達成強勁表現。