[论文解读] Sample complexity of partition identification using multi-armed bandits

Sandeep Juneja, Subhashini Krishnasamy|arXiv (Cornell University)|Nov 14, 2018

Machine Learning and Algorithms参考文献 17被引用 5

一句话总结

本文研究了在使用多臂老虎机采样时，从单参数指数族中抽取的 K 个概率分布向量的正确划分的样本复杂度。基于几何结构（例如，半空间、多面体、凸集）推导出问题相关的样本复杂度下界，提出了一种基于阈值的停止规则的 D-Tracking 采样规则，并证明了当误差概率 δ→0 时该算法的渐近最优性。

ABSTRACT

Given a vector of probability distributions, or arms, each of which can be sampled independently, we consider the problem of identifying the partition to which this vector belongs from a finitely partitioned universe of such vector of distributions. We study this as a pure exploration problem in multi armed bandit settings and develop sample complexity bounds on the total mean number of samples required for identifying the correct partition with high probability. This framework subsumes well studied problems such as finding the best arm or the best few arms. We consider distributions belonging to the single parameter exponential family and primarily consider partitions where the vector of means of arms lie either in a given set or its complement. The sets considered correspond to distributions where there exists a mean above a specified threshold, where the set is a half space and where either the set or its complement is a polytope, or more generally, a convex set. In these settings, we characterize the lower bounds on mean number of samples for each arm highlighting their dependence on the problem geometry. Further, inspired by the lower bounds, we propose algorithms that can match these bounds asymptotically with decreasing probability of error. Applications of this framework may be diverse. We briefly discuss one associated with finance.

研究动机与目标

• 表征在高概率下识别 K 维均值向量正确划分所需的最小期望样本数。
• 将现有的纯探索老虎机框架扩展至超越最优臂或前 r 个最优臂选择的通用划分识别问题。
• 推导出依赖于划分集合几何结构的紧致、问题相关的样本复杂度下界。
• 设计一种 δ-PAC 算法，在单参数指数族假设下渐近匹配这些下界。
• 通过 D-Tracking 采样规则和对数样本复杂度量级的阈值停止规则，确保收敛性和正确性。

提出的方法

• 将划分识别（PI）问题形式化为多臂老虎机中的纯探索任务，目标是识别包含真实均值向量的有限个不相交集合中的哪一个。
• 利用 Garivier 和 Kaufmann（2016）提出的运输不等式，将样本复杂度下界问题转化为具有无限多个约束的约束优化问题。
• 在每个臂的分布属于单参数指数族的假设下，针对特定几何设置（如阈值交叉、半空间、多面体和凸集）求解下界问题。
• 提出一种 D-Tracking 采样规则，通过自适应分配样本以保持估计的最优采样比例，并在计数较低时通过强制采样确保充分探索。
• 采用基于 Kullback-Leibler 散度阈值的停止规则：当到错误划分边界的经验散度超过 t 和 δ 的对数阈值时停止。
• 通过证明期望停止时间 T_U(δ) 满足 lim sup_{δ→0} E[T_U(δ)] / log(1/δ) ≤ T*(μ) 来证明渐近最优性，其中 T*(μ) 是推导出的下界。

实验结果

研究问题

• RQ1 在多臂老虎机设置中，以高概率识别正确划分所需的样本数的理论下限是什么？
• RQ2 划分集合的几何结构（如半空间、多面体或凸集）如何影响划分识别的样本复杂度？
• RQ3 能否设计一种 δ-PAC 算法，使其在各种划分结构下渐近匹配所推导出的下界？
• RQ4 哪些采样和停止规则能同时保证 δ-PAC 保证和样本复杂度的渐近最优性？
• RQ5 在什么条件下，下界问题的最优采样分布具有唯一解，以及这如何影响算法设计？

主要发现

• 对于阈值交叉问题，样本复杂度的下界表现出固有的不对称性：取决于真实均值向量是否位于最大均值超过阈值的集合中。
• 在阈值交叉、半空间和多面体设置下，下界问题被显式求解，最优采样比例由划分边界的几何结构决定。
• 当划分边界是闭凸集的光滑点时，下界问题的最优解唯一，从而支持算法的渐近最优性。
• 所提出的算法实现了渐近最优性：lim sup_{δ→0} E[T_U(δ)] / log(1/δ) ≤ T*(μ)，其中 T*(μ) 是信息论下界。
• D-Tracking 采样规则确保每个臂被充分采样（Ω(√t)），且随着 t 增大，经验采样比例收敛到最优比例。
• 基于阈值 β(t,δ) = log(ct/δ) 的停止规则通过比较到错误划分边界的经散度，确保 δ-PAC 正确性。