[论文解读] Structured Best Arm Identification with Fixed Confidence

Ruitong Huang, Mohammad M. Ajallooeian+2 more|arXiv (Cornell University)|Jun 16, 2017

Advanced Bandit Algorithms Research参考文献 4被引用 3

一句话总结

本文提出了一种新颖的算法 LUCB-micro，用于在固定置信度设置下进行结构化最优臂识别，其中臂的取值是噪声微观测值的函数。该文提供了实例相关的样本复杂度界，其结果在广义上优于先前工作，尤其在具有非均匀深度和变换的极小化极大博弈搜索中，其界比现有方法（如 FindTopWinner）更紧。

ABSTRACT

We study the problem of identifying the best action among a set of possible options when the value of each action is given by a mapping from a number of noisy micro-observables in the so-called fixed confidence setting. Our main motivation is the application to the minimax game search, which has been a major topic of interest in artificial intelligence. In this paper we introduce an abstract setting to clearly describe the essential properties of the problem. While previous work only considered a two-move game tree search problem, our abstract setting can be applied to the general minimax games where the depth can be non-uniform and arbitrary, and transpositions are allowed. We introduce a new algorithm (LUCB-micro) for the abstract setting, and give its lower and upper sample complexity results. Our bounds recover some previous results, which were only available in more limited settings, while they also shed further light on how the structure of minimax problems influence sample complexity.

研究动机与目标

• 解决最优臂识别问题，其中臂的收益依赖于噪声微观测值，扩展至两步博弈树之外的结构化环境。
• 形式化一个抽象设置，以捕捉具有任意深度和变换的极小化极大博弈搜索的本质特性。
• 开发一种新算法 LUCB-micro，以在固定置信度约束下高效识别最优臂。
• 建立反映问题结构对学习效率影响的紧致实例相关样本复杂度界。
• 在两步交替博弈中恢复并改进先前结果，并将其推广至完整长度的极小化极大树。

提出的方法

• 提出一个抽象框架，其中臂的收益是未知微观测值的确定性函数，且每个微观测值均可获得噪声观测。
• 引入 LUCB-micro 算法作为 Maximin-LUCB 的推广，利用对微观测值的置信上限和下限来指导采样。
• 将证明集定义为决定极小化极大树中识别最优走法难度的关键结构，类似于共谋集。
• 采用极小化极大计算策略，高效计算极小化极大设置下的最优动作选择，利用收益函数的结构。
• 通过分析基于置信区间和取值集合范围的每个微观测值的拉动次数，建立高概率、实例相关的样本复杂度上界。
• 证明在收益映射的正则性假设下，该算法满足风险要求（即以高概率正确识别最优臂）。

实验结果

研究问题

• RQ1 在两步博弈树中观察到的效率增益是否可推广至具有任意深度和变换的一般极小化极大博弈？
• RQ2 博弈树的结构——特别是共享状态和非均匀深度的存在——如何影响最优臂识别的样本复杂度？
• RQ3 在具有微观测值的结构化最优臂识别中，实例相关的样本复杂度下界是什么？
• RQ4 像 LUCB-micro 这样的单一算法是否能在包括完整极小化极大树在内的多样化结构化环境中实现最优样本复杂度？
• RQ5 作为极小化极大树中结构不变量的证明集，如何影响识别最优走法的难度？

主要发现

• 所提出的 LUCB-micro 算法在极小化极大博弈设置下，实现了高概率、实例相关的样本复杂度上界，其性能严格优于 FindTopWinner，特别是在识别近似最优微观测值所需的样本数方面。
• LUCB-micro 的样本复杂度上界在两步交替博弈情况下与实例相关的下界完全匹配，证实了其在该情形下的最优性。
• 本文建立了结构化最优臂识别的新实例相关下界，该下界广义化并恢复了 Garivier 等人（2016a）在两步设置下的先前结果。
• 抽象设置中所需的正则性假设在极小化极大博弈设置中成立，使得理论保证可应用于实际博弈搜索问题。
• 将证明集作为结构不变量的使用，使得样本复杂度的分析更加紧密，揭示出识别最优走法的难度由最小证明集大小决定。
• 该算法的样本复杂度被证明与证明集上取值集合范围的平方倒数成正比，清晰地反映了问题内在难度的依赖关系。