[论文解读] No Internal Regret via Neighborhood Watch

Dean P. Foster, Alexander Rakhlin|arXiv (Cornell University)|Aug 30, 2011

Advanced Bandit Algorithms Research参考文献 9被引用 3

一句话总结

本文提出了邻域监控（Neighborhood Watch）算法，在局部可观察性条件下，即使面对非随机（对抗性）对手，也能在有限部分监控游戏中实现 $O(\sqrt{T})$ 的内部与外部遗憾。该方法在动作邻域上采用两级探索策略，利用局部可观察性条件实现无偏损失估计，从而确保遗憾界与仅具有老虎机反馈设置下的最优速率一致。

ABSTRACT

We present an algorithm which attains O(\sqrt{T}) internal (and thus external) regret for finite games with partial monitoring under the local observability condition. Recently, this condition has been shown by (Bartok, Pal, and Szepesvari, 2011) to imply the O(\sqrt{T}) rate for partial monitoring games against an i.i.d. opponent, and the authors conjectured that the same holds for non-stochastic adversaries. Our result is in the affirmative, and it completes the characterization of possible rates for finite partial-monitoring games, an open question stated by (Cesa-Bianchi, Lugosi, and Stoltz, 2006). Our regret guarantees also hold for the more general model of partial monitoring with random signals.

研究动机与目标

• 解决在非独立同分布（对抗性）对手下，有限部分监控游戏中遗憾速率表征的开放问题。
• 证明此前仅在独立同分布对手下已知的 $O(\sqrt{T})$ 遗憾速率，在非随机对手下依然成立。
• 将结果推广至更一般的随机信号部分监控模型。
• 建立局部可观察性完全表征了有限部分监控游戏中内部与外部遗憾的 $O(\sqrt{T})$ 遗憾速率，完成对可能速率的分类。

提出的方法

• 引入局部内部遗憾的概念：在对手混合策略最优响应所定义的邻域图中，玩家通过切换到邻近动作不会获益。
• 采用两级算法：首先随机选择一个邻域，然后在其中选择一个动作，通过满足一种流条件，将子算法遗憾与全局遗憾关联。
• 利用局部可观察性条件实现无偏损失估计，该条件保证对于邻近动作 $i,j$，有 $\ell_i - \ell_j \in \text{Im}(S_{(i,j)}^\top)$，从而实现对邻近动作的可靠比较。
• 构造估计向量 $v_{(i,j)}$，使得 $\ell_j - \ell_i = S_{(i,j)}^\top v_{(i,j)}$，使算法能够从观测信号中估计邻近动作的相对损失。
• 应用改进的 Hedge 算法，采用独立的学习率 $\eta$ 和探索参数 $\gamma$，在 $\gamma = 0$ 时实现期望 $O(\sqrt{T})$ 遗憾，在 $\gamma \propto T^{-1/2}$ 时实现高概率 $O(\sqrt{T})$ 遗憾。
• 通过将确定性信号矩阵 $S$ 替换为随机矩阵 $\Xi$（满足 $\mathbb{E}[\Xi_i] = \Xi_i$）来适应随机信号，同时在相同局部可观察性条件下保持相同的遗憾保证。

实验结果

研究问题

• RQ1 能否将此前在独立同分布对手下已知的、局部可观察性条件下的 $O(\sqrt{T})$ 外部遗憾速率，推广至非随机（对抗性）对手？
• RQ2 局部可观察性条件是否完全表征了有限部分监控游戏中内部与外部遗憾的 $O(\sqrt{T})$ 遗憾速率？
• RQ3 能否将 $O(\sqrt{T})$ 遗憾保证推广至随机信号情形，而非确定性反馈？
• RQ4 是否存在一种通用的算法框架，在局部可观察性条件下，即使在对抗性设置下，也能实现 $O(\sqrt{T})$ 内部遗憾？

主要发现

• 邻域监控算法在局部可观察性条件下，对非随机对手实现了 $O(\sqrt{T})$ 外部遗憾，验证了 Bartók、Pál 和 Szepesvári 的猜想。
• 同一算法也实现了 $O(\sqrt{T})$ 内部遗憾，完成了对有限部分监控游戏中可能遗憾速率的完整表征。
• 局部可观察性条件是 $O(\sqrt{T})$ 遗憾的充分必要条件，因为它使得邻近动作之间的相对损失能够被无偏估计。
• 分析可扩展至随机信号：在相同局部可观察性条件下，算法在 $\gamma = 0$ 时保持期望 $O(\sqrt{T})$ 遗憾，在 $\gamma \propto T^{-1/2}$ 时保持高概率 $O(\sqrt{T})$ 遗憾。
• 遗憾界是紧致的：其与老虎机反馈游戏（其中 $L = H$）的已知最优速率一致，且在相同条件下无法实现更快的速率。
• 该结果解决了 Cesa-Bianchi、Lugosi 和 Stoltz 提出的关于部分监控游戏中遗憾速率表征的开放问题。