[论文解读] Pure Exploration with Multiple Correct Answers

Rémy Degenne, Wouter M. Koolen|arXiv (Cornell University)|Feb 9, 2019

Advanced Bandit Algorithms Research参考文献 21被引用 12

一句话总结

本文研究多臂赌博机中的纯探索问题，其中存在多个正确答案，提出一种名为 Sticky Track-and-Stop 的新算法，实现了渐近最优的样本复杂度。该工作识别出在多答案设定下，oracle 权重的凸性出现失效，导致标准 Track-and-Stop 方法失效，并通过修改追踪机制，使收敛稳定在 oracle 权重集合的极值点（顶点）上，从而匹配一项新的信息论下界。

ABSTRACT

We determine the sample complexity of pure exploration bandit problems with multiple good answers. We derive a lower bound using a new game equilibrium argument. We show how continuity and convexity properties of single-answer problems ensures that the Track-and-Stop algorithm has asymptotically optimal sample complexity. However, that convexity is lost when going to the multiple-answer setting. We present a new algorithm which extends Track-and-Stop to the multiple-answer case and has asymptotic sample complexity matching the lower bound.

研究动机与目标

• 刻画多臂赌博机纯探索问题中存在多个正确答案时的样本复杂度。
• 识别在多答案问题中 oracle 权重的凸性失效，导致标准 Track-and-Stop 方法失效的原因。
• 设计一种新算法，使在非凸设定下追踪过程稳定，并实现渐近最优性。
• 为多正确答案问题推导出新的信息论下界。

提出的方法

• 提出一种新算法 Sticky Track-and-Stop，通过修改标准 Track-and-Stop 的追踪机制，使其在多答案情况下仅收敛至 oracle 权重集合的极值点（顶点）。
• 引入一种“粘滞”机制，防止收敛至最优 oracle 权重集合的凸包内部点。
• 利用博弈论均衡论证，推导出多正确答案问题下样本复杂度的新下界。
• 分析 oracle 权重的连续性与集值性质，表明其为上半连续但非凸，尤其在多答案设定下。
• 应用拉格朗日对偶与优化技术，计算特定问题结构（如超平面、半空间、球面）下的 oracle 权重。
• 证明样本复杂度与至错误模型集合的散度的倒数成正比，并对独立子问题进行分解。

实验结果

研究问题

• RQ1 多正确答案的纯探索赌博机问题的根本样本复杂度极限是什么？
• RQ2 为何标准 Track-and-Stop 算法在多正确答案设定下失效，尽管其在单答案问题中表现最优？
• RQ3 如何修改追踪机制，以在非凸设定下稳定收敛至正确的 oracle 权重分布？
• RQ4 oracle 权重映射的何种结构特性导致多答案情况下凸性失效？
• RQ5 能否通过修改算法实现在多正确答案设定下的渐近最优性？

主要发现

• 在多正确答案设定下，oracle 权重映射为上半连续但非凸，导致标准 Track-and-Stop 的收敛性失效。
• 未经修改的 Track-and-Stop 会以概率测度收敛至最优 oracle 权重集合的整个凸包，导致性能次优。
• Sticky Track-and-Stop 算法将追踪稳定至 oracle 权重集合的极值点（顶点），避免收敛至内部混合分布。
• 该算法实现的渐近样本复杂度与新的信息论下界完全匹配，证明了其渐近最优性。
• 对于超平面、半空间与球面等结构化问题，利用拉格朗日对偶法推导出 oracle 权重与散度的闭式表达式。
• 独立子问题的样本复杂度呈线性叠加，证实至错误集合的散度可分解为各子问题散度之和。