[论文解读] Sequential Test for the Lowest Mean: From Thompson to Murphy Sampling

Emilie Kaufmann, Wouter M. Koolen+1 more|arXiv (Cornell University)|Jun 4, 2018

Machine Learning and Algorithms被引用 13

一句话总结

本文提出 Murphy Sampling，一种新颖的序列采样策略，可高效测试一组分布的最小均值是否低于或高于某个阈值。通过将 Thompson Sampling 条件化在最坏情况（µ∗ < γ）下，该方法在无需强制探索的情况下，实现了对低和高真实最小值的最优采样行为，并通过先进的自归一化偏差不等式实现早期停止。该方法被证明是 δ-正确的，且在实验中优于现有方法。

ABSTRACT

Learning the minimum/maximum mean among a finite set of distributions is a fundamental sub-task in planning, game tree search and reinforcement learning. We formalize this learning task as the problem of sequentially testing how the minimum mean among a finite set of distributions compares to a given threshold. We develop refined non-asymptotic lower bounds, which show that optimality mandates very different sampling behavior for a low vs high true minimum. We show that Thompson Sampling and the intuitive Lower Confidence Bounds policy each nail only one of these cases. We develop a novel approach that we call Murphy Sampling. Even though it entertains exclusively low true minima, we prove that MS is optimal for both possibilities. We then design advanced self-normalized deviation inequalities, fueling more aggressive stopping rules. We complement our theoretical guarantees by experiments showing that MS works best in practice.

研究动机与目标

• 解决高效且可靠地判断有限组分布的最小均值是否低于或高于给定阈值的问题。
• 开发一种 δ-正确的序列测试算法，以最小化样本复杂度，且不依赖强制探索。
• 表征在真实最小值较低和较高两种情况下，序列最小均值测试的最优采样分配。
• 设计一种基于指数族的自归一化偏差不等式的新型停止规则，实现当最小值较低时的早期检测。
• 通过实证表明，Murphy Sampling 在实际中优于 Thompson Sampling 和下置信界策略。

提出的方法

• 提出 Murphy Sampling，一种对 Thompson Sampling 的变体，其条件基于最坏情况假设（µ∗ < γ），可动态适应真实最小值的采样行为。
• 推导出样本复杂度的紧致非渐近下界，揭示了在 µ∗ < γ 和 µ∗ > γ 情况下最优采样策略的根本差异。
• 提出指数族的新自归一化偏差不等式（定理 7），使更激进和更早的停止规则成为可能。
• 设计一种聚合停止规则，综合各臂的证据，当最小值较低时触发早期终止。
• 使用广义 LPSample 框架推导最优采样分配，但通过避免强制探索而优于该框架。
• 采用基于鞅的集中不等式和 Lambert W 函数，推导停止规则中阈值函数的紧致边界。

实验结果

研究问题

• RQ1 序列测试最小均值的最优采样分配策略是什么？在 µ∗ < γ 和 µ∗ > γ 两种情况下有何不同？
• RQ2 能否设计一种单一采样规则，在无需强制探索的情况下，同时在真实最小值较低和较高的情形下实现最优？
• RQ3 如何为指数族构造自归一化偏差不等式，以实现在序列测试中的早期停止？
• RQ4 δ-正确的序列测试最小均值所需的最小样本复杂度是多少？
• RQ5 Murphy Sampling 在样本效率和决策时间方面，与 Thompson Sampling 和下置信界策略相比如何？

主要发现

• Murphy Sampling 在 µ∗ < γ 和 µ∗ > γ 两种情形下均实现最优采样行为，而 Thompson Sampling 和下置信界策略仅在一种情形下最优。
• 所提出的自归一化偏差不等式推广了高斯分布和非均匀设置下的先前结果，使不等式更紧致，停止规则更激进。
• 聚合停止规则确保了 δ-正确性，并在最小值较低时实现早期停止，显著减少了此类情况下的期望样本量。
• 理论分析表明，样本复杂度的下界反映了中等风险行为，而不仅仅是渐近最优性。
• 实证结果表明，Murphy Sampling 在样本效率和决策速度方面始终优于 Thompson Sampling 和下置信界策略。
• 该方法避免了强制探索，使其在质量控制、自适应学习和异常检测等实际应用中更具实用性和效率。