[论文解读] Normal Bandits of Unknown Means and Variances: Asymptotic Optimality, Finite Horizon Regret Bounds, and a Solution to an Open Problem

Wesley Cowan, Michael N. Katehakis+1 more|arXiv (Cornell University)|Apr 22, 2015

Advanced Bandit Algorithms Research参考文献 38被引用 8

一句话总结

本文提出了针对均值和方差未知的正态分布多臂赌博机的膨胀样本均值（ISM）索引策略，证明了其渐近最优性，并建立了有限时域的后悔边界。该工作通过证明ISM策略实现了后悔增长的信息论下界，解决了Burnetas和Katehakis（1996b）提出的一个开放问题，其性能在渐近意义上与Thompson采样相当，同时提供了一种确定性的、基于索引的替代方案。

ABSTRACT

Consider the problem of sampling sequentially from a finite number of $N \geq 2$ populations, specified by random variables $X^i_k$, $ i = 1,\ldots , N,$ and $k = 1, 2, \ldots$; where $X^i_k$ denotes the outcome from population $i$ the $k^{th}$ time it is sampled. It is assumed that for each fixed $i$, $\{ X^i_k \}_{k \geq 1}$ is a sequence of i.i.d. normal random variables, with unknown mean $μ_i$ and unknown variance $σ_i^2$. The objective is to have a policy $π$ for deciding from which of the $N$ populations to sample form at any time $n=1,2,\ldots$ so as to maximize the expected sum of outcomes of $n$ samples or equivalently to minimize the regret due to lack on information of the parameters $μ_i$ and $σ_i^2$. In this paper, we present a simple inflated sample mean (ISM) index policy that is asymptotically optimal in the sense of Theorem 4 below. This resolves a standing open problem from Burnetas and Katehakis (1996). Additionally, finite horizon regret bounds are given.

研究动机与目标

• 解决多臂赌博机领域中关于正态分布奖励、均值与方差未知时的渐近最优性这一长期开放问题。
• 设计一种确定性的、基于索引的策略，在参数未知条件下实现最优的后悔增长速率。
• 为所提出的策略建立有限时域的后悔边界，确保在渐近分析之外的性能保证。
• 在后悔与方差方面，将所提出的ISM策略与UCB和Thompson采样等现有方法进行比较。
• 证明ISM策略实现了后悔增长的信息论下界，从而确认其渐近最优性。

提出的方法

• 提出膨胀样本均值（ISM）索引策略，通过引入与方差相关的膨胀项对样本均值进行修正，以平衡探索与利用。
• 采用频率学派方法，使用有偏样本方差估计器 $ S_i^2(k) = \sum_{t=1}^k (X^i_t - \bar{X}^i_k)^2 / k $，以简化计算并保持与理论推导的一致性。
• 通过分析次优臂的期望采样时间，结合大偏差不等式与鞅论证，推导出有限时域的后悔边界。
• 通过证明ISM策略的后悔满足 $ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $，从而证明其渐近最优性，该结果与信息论下界完全一致。
• 通过模拟研究验证理论结果，比较ISM与UCB1-NORMAL、贪婪策略及Thompson采样在多种赌博机参数配置下的表现。
• 利用数值实验比较各策略的后悔与后悔方差，揭示其在不同情境下的性能差异。

实验结果

研究问题

• RQ1 是否存在一种确定性的、基于索引的策略，可在正态奖励、均值与方差未知的多臂赌博机问题中实现渐近最优性？
• RQ2 此类策略的有限时域后悔边界可建立为何种形式？与现有方法相比有何差异？
• RQ3 所提出的ISM策略是否解决了Burnetas-Katehakis框架下正态赌博机的渐近最优性开放问题？
• RQ4 在实践中，ISM策略与Thompson采样等随机化策略相比，在期望后悔与方差方面表现如何？
• RQ5 在何种条件下，ISM策略优于或劣于Thompson采样或基于UCB的方法？

主要发现

• ISM策略具有渐近最优性，满足 $ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $，与Burnetas和Katehakis（1996b）建立的信息论下界完全一致。
• 推导出有限时域的后悔边界，表明ISM策略的后悔随 $ n $ 对数增长，达到最优速率。
• 模拟结果表明，ISM策略在期望后悔方面与Thompson采样表现相当，在最优臂相对于次优臂方差较高的场景中略占优势。
• 在测试配置中，ISM策略的样本后悔方差低于Thompson采样，表明其性能更稳定一致。
• 所提出的策略解决了均值与方差未知的正态赌博机中渐近最优性的开放问题，为随机化策略提供了一种确定性的替代方案。
• 数值比较结果确认，ISM策略在后悔表现上优于贪婪策略与UCB1-NORMAL策略，尤其在早期与中期时域表现更优。