[论文解读] Utility-based Dueling Bandits as a Partial Monitoring Game

Pratik Gajane, Tanguy Urvoy|arXiv (Cornell University)|Jul 10, 2015

Advanced Bandit Algorithms Research参考文献 12被引用 3

一句话总结

本文将基于效用的对抗性 bandit 问题建模为部分监控（partial monitoring, PM）游戏，并证明其属于时间-遗憾层次中的‘简单’类别，实现 $ ilde{ackepsilon}(ackepsilon T)$ 的遗憾边界。研究显示，尽管通用 PM 算法由于动作空间的二次方特性，遗憾边界为次优的 $ ilde{\mathcal{O}}(K\sqrt{T})$，但专用算法如 REX3 可实现最优的 $ ilde{\mathcal{O}}(\sqrt{KT})$ 遗憾边界，凸显了结构感知算法的必要性。

ABSTRACT

Partial monitoring is a generic framework for sequential decision-making with incomplete feedback. It encompasses a wide class of problems such as dueling bandits, learning with expect advice, dynamic pricing, dark pools, and label efficient prediction. We study the utility-based dueling bandit problem as an instance of partial monitoring problem and prove that it fits the time-regret partial monitoring hierarchy as an easy - i.e. Theta (sqrt{T})- instance. We survey some partial monitoring algorithms and see how they could be used to solve dueling bandits efficiently. Keywords: Online learning, Dueling Bandits, Partial Monitoring, Partial Feedback, Multiarmed Bandits

研究动机与目标

• 将基于效用的对抗性 bandit 问题在部分监控（PM）框架内形式化。
• 确定对抗性 bandit 问题在 PM 时间-遗憾层次中的复杂度类别。
• 评估现有 PM 算法在对抗性 bandit 问题上的性能，特别是其对动作数 $K^2$ 的依赖性。
• 识别通用 PM 算法在捕捉对抗性 bandit 问题结构特性方面的局限性。
• 展示结构感知算法（如 REX3）在遗憾边界缩放方面相较于通用 PM 方法的优越性。

提出的方法

• 作者使用动作集 $\boldsymbol{N}$、结果集 $\boldsymbol{M}$、损失函数 $\mathcal{L}$、收益函数 $\mathcal{G}$ 和反馈函数 $\mathcal{H}$ 的形式化方法，将对抗性 bandit 问题建模为部分监控游戏。
• 通过证明不存在将反馈映射到收益的矩阵 $\mathcal{B}$，证明该问题为局部可观察（locally observable），从而表明其非全局可观察。
• 应用 Bartók 等人（2014）提出的 PM 层次结构，将对抗性 bandit 问题分类为‘简单’实例，其遗憾边界为 $\tilde{\Theta}(\sqrt{T})$。
• 分析现有 PM 算法（如 FEEDEXP3、BALATON、CBP、GLOBAL-EXP3、SAVAGE、Neighborhood Watch），并比较其在对抗性 bandit 问题背景下的遗憾边界。
• 证明通用 PM 算法由于 $N \approx K^2$ 的动作数量，导致 $ ilde{\mathcal{O}}(K\sqrt{T})$ 的遗憾边界，而 REX3 通过利用结构特性，实现了 $ ilde{\mathcal{O}}(\sqrt{KT})$ 的遗憾边界。
• 通过反证法证明线性反馈到收益的映射 $\mathcal{B}$ 不可能存在，从而证明专用算法的必要性。

实验结果

研究问题

• RQ1 基于效用的对抗性 bandit 问题是否属于部分监控框架？若是，其形式化结构如何？
• RQ2 在 PM 时间-遗憾层次中，对抗性 bandit 问题属于哪个复杂度类别？
• RQ3 为何通用 PM 算法在对抗性 bandit 问题上表现不佳，尽管其具有理论保证？
• RQ4 能否利用对抗性 bandit 问题的结构特性，以获得优于通用 PM 算法的遗憾边界？
• RQ5 对抗性 bandit 问题可实现的最优遗憾边界缩放为何种形式？哪种算法可实现该边界？

主要发现

• 基于效用的对抗性 bandit 问题在 PM 时间-遗憾层次中被归类为‘简单’实例，其遗憾边界为 $\tilde{\Theta}(\sqrt{T})$。
• 该问题非全局可观察，因为不存在将反馈映射到收益的线性映射 $\mathcal{B}$，这使得某些通用 PM 算法的假设失效。
• 通用 PM 算法（如 FEEDEXP3、BALATON、CBP、GLOBAL-EXP3、SAVAGE 和 Neighborhood Watch）由于动作空间大小为 $K^2$，遗憾边界均为 $ ilde{\mathcal{O}}(K\sqrt{T})$。
• 在现有 PM 算法中，仅 REX3 实现了最优的 $ ilde{\mathcal{O}}(\sqrt{KT})$ 遗憾边界，该边界在 $K$ 上为次线性，且对对抗性 bandit 问题为最优。
• GLOBAL-EXP3 的反例表明其在点局部博弈中 $N' \approx K^2$，导致 $ ilde{\mathcal{O}}(K\sqrt{T})$ 的遗憾边界，从而证实其在对抗性 bandit 问题上的次优性。
• 本研究确立了结构感知算法在实现对抗性 bandit 问题最优遗憾边界中的关键作用，因为通用 PM 方法无法有效利用其内在结构。