[论文解读] Optimal $δ$-Correct Best-Arm Selection for Heavy-Tailed Distributions

Shubhada Agrawal, Sandeep Juneja+1 more|arXiv (Cornell University)|Aug 24, 2019

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了一种针对具有有限(1+ε)阶矩的重尾分布的δ-正确最优臂识别算法，在样本复杂度上实现了渐近最优性。该方法引入了近似最优批量大小的批量处理技术，显著加速了收敛速度，克服了先前方法仅限于指数族分布的局限性。

ABSTRACT

Given a finite set of unknown distributions or arms that can be sampled, we consider the problem of identifying the one with the maximum mean using a $δ$-correct algorithm (an adaptive, sequential algorithm that restricts the probability of error to a specified $δ$) that has minimum sample complexity. Lower bounds for $δ$-correct algorithms are well known. $δ$-correct algorithms that match the lower bound asymptotically as $δ$ reduces to zero have been previously developed when arm distributions are restricted to a single parameter exponential family. In this paper, we first observe a negative result that some restrictions are essential, as otherwise, under a $δ$-correct algorithm, distributions with unbounded support would require an infinite number of samples in expectation. We then propose a $δ$-correct algorithm that matches the lower bound as $δ$ reduces to zero under the mild restriction that a known bound on the expectation of $(1+ε)^{th}$ moment of the underlying random variables exists, for $ε> 0$. We also propose batch processing and identify near-optimal batch sizes to speed up the proposed algorithm substantially. The best-arm problem has many learning applications, including recommendation systems and product selection. It is also a well-studied classic problem in the simulation community.

研究动机与目标

• 解决在指数族之外的一般重尾分布中缺乏最优δ-正确算法的问题。
• 证明：若无矩限制，δ-正确算法将需要无限期望样本数，因此必须施加分布假设。
• 提出一种δ-正确算法，在(1+ε)阶矩条件下，当δ→0时达到信息论下界。
• 设计批量处理技术，采用近似最优批量大小，显著提升算法效率。
• 利用Lévy度量提供修正后的、更紧致的集中性分析，以纠正先前工作中存在的技术错误。

提出的方法

• 改用Lévy度量而非Wasserstein度量，以推导更紧致的集中不等式。
• 将分布类L定义为所有(1+ε)阶绝对矩有界的分布，其中ε>0。
• 设计一种序列采样算法，根据经验均值和置信区间自适应分配采样次数。
• 引入批量处理机制，采样决策在批次中进行，从而降低计算开销。
• 将批量大小优化为与log(1/δ)成比例，以平衡探索与收敛速度。
• 在局部鞅约束下，应用Azuma-Hoeffding不等式，对各批次中采样比例的偏差进行上界估计。

实验结果

研究问题

• RQ1 在δ-正确最优臂识别中，为确保有限期望样本复杂度，需要哪些分布限制？
• RQ2 对于仅具有有限(1+ε)阶矩的重尾分布，δ-正确算法能否实现渐近最优性？
• RQ3 如何设计批量处理机制，以在保持渐近最优性的同时提升计算效率？
• RQ4 在该问题的集中性分析中，使用Wasserstein度量与Lévy度量会产生何种影响？
• RQ5 如何纠正先前工作中存在的技术错误，特别是集中不等式和测度变换分析中的错误？

主要发现

• 对于具有无界支撑且KL右密集特性的分布，任何δ-正确算法均需无限期望样本数，这表明在无矩限制下存在根本性不可能性。
• 所提出的算法在(1+ε)阶矩条件下，当δ→0时，样本复杂度达到渐近最优，与信息论下界一致。
• 采用与log(1/δ)成比例的批量大小进行批量处理，可显著降低计算成本，同时保持渐近最优性。
• 使用Lévy度量可获得更紧致的集中不等式，纠正了先前使用Wasserstein度量时存在的错误。
• 该算法的误差概率被控制在δ以内，且期望样本复杂度与下界仅相差一个对数因子。
• 数值分析表明，批量版本显著减少了运行时间，同时不损失δ-正确性或渐近最优性。