[论文解读] Weak Signal Asymptotics for Sequentially Randomized Experiments

Kuang, Xu, Stefan Wager|arXiv (Cornell University)|Jan 25, 2021

Advanced Bandit Algorithms Research参考文献 43被引用 4

一句话总结

该论文提出了一套弱信号渐近框架，用于顺序随机实验，表明在奖励差距按 $1/\text{sqrt}(n)$ 缩放的条件下，样本路径弱收敛于由随机微分方程控制的扩散极限。关键贡献在于对遗憾和信念动态的精细化、实例特定分析，揭示了Lipschitz连续采样会导致在大差距下遗憾表现次优，而采用渐近无信息先验的Thompson采样即使在弱信号情形下也能实现近乎最优的遗憾缩放。

ABSTRACT

We use the lens of weak signal asymptotics to study a class of sequentially randomized experiments, including those that arise in solving multi-armed bandit problems. In an experiment with $n$ time steps, we let the mean reward gaps between actions scale to the order $1/\sqrt{n}$ so as to preserve the difficulty of the learning task as $n$ grows. In this regime, we show that the sample paths of a class of sequentially randomized experiments -- adapted to this scaling regime and with arm selection probabilities that vary continuously with state -- converge weakly to a diffusion limit, given as the solution to a stochastic differential equation. The diffusion limit enables us to derive refined, instance-specific characterization of stochastic dynamics, and to obtain several insights on the regret and belief evolution of a number of sequential experiments including Thompson sampling (but not UCB, which does not satisfy our continuity assumption). We show that all sequential experiments whose randomization probabilities have a Lipschitz-continuous dependence on the observed data suffer from sub-optimal regret performance when the reward gaps are relatively large. Conversely, we find that a version of Thompson sampling with an asymptotically uninformative prior variance achieves near-optimal instance-specific regret scaling, including with large reward gaps, but these good regret properties come at the cost of highly unstable posterior beliefs.

研究动机与目标

• 开发对顺序实验的精细化、实例特定理解，超越最坏情况保证，尤其关注高风险、小规模应用场景。
• 在弱信号渐近框架下分析自适应实验的随机动态——特别是遗憾和信念演化，其中奖励差距按 $1/\text{sqrt}(n)$ 缩放。
• 为具有连续臂选择概率的顺序随机马尔可夫实验推导扩散极限，从而获得样本路径和性能的分布性洞察。
• 评估Thompson采样和UCB等流行算法在此新渐近框架下的表现，尤其关注遗憾缩放和信念稳定性。
• 为Thompson采样中使用扩散先验提供理论依据，与bandit文献中的经验俗语保持一致。

提出的方法

• 采用弱信号渐近框架，其中随着时间步数 $n \to \infty$，各臂之间的平均奖励差距按 $1/\text{sqrt}(n)$ 缩放，以保持学习难度。
• 建立顺序随机马尔可夫实验的缩放样本路径弱收敛于扩散过程，其特征为随机微分方程（SDE）的解。
• 使用随机时间变换技术，将极限累积奖励表示为带漂移的时变布朗运动，其中时间变换由累积采样概率驱动。
• 将扩散极限应用于分析Thompson采样和Lipschitz连续采样函数中的遗憾与信念演化，重点关注实例特定性能。
• 通过比较信息先验与渐近无信息先验下的表现，刻画Thompson采样中先验方差的影响。
• 利用SDE框架推导出关于顺序实验随机行为的精确分布性洞察，包括瞬态信念动态和遗憾缩放。

Figure 1 : Regret profile for two-armed Thompson sampling, for $c=1$ , 1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/256, 1/1024, and finally $c=0$ . We use $\sigma^{2}=1$ throughout. The left panel shows expected regret, while the right panel shows $\mathbb{E}\left[Q_{1}\right]$ . The curves with positive val

实验结果

研究问题

• RQ1 在奖励差距按 $1/\text{sqrt}(n)$ 缩放的弱信号渐近框架下，顺序随机实验中的遗憾与信念动态如何演化？
• RQ2 在何种条件下，顺序随机实验会弱收敛于扩散极限？其极限SDE的形式是什么？
• RQ3 臂选择概率的连续性（例如Lipschitz连续与不连续）在弱信号框架下如何影响遗憾表现？
• RQ4 Thompson采样在渐近无信息先验下是否能在所有奖励差距大小下实现近乎最优的遗憾缩放，包括大差距情形？
• RQ5 此处推导出的扩散极限在多大程度上能为顺序信息收集中的人类学习或科学共识形成提供洞见？

主要发现

• 在奖励差距按 $1/\text{sqrt}(n)$ 缩放的弱信号渐近框架下，具有连续臂选择概率的顺序随机实验的样本路径弱收敛于由随机微分方程控制的扩散极限。
• Lipschitz连续的臂选择概率即使在弱信号框架下也会导致非零遗憾，表明在奖励差距相对较大时性能次优。
• 采用渐近无信息先验的Thompson采样实现了近乎最优的实例特定遗憾缩放，尤其在大奖励差距情形下表现优异。
• 同一Thompson采样变体在无信息先验下表现出极不稳定的后验信念，表明遗憾最优性与信念稳定性之间存在权衡。
• 扩散极限使得累积奖励与动作采样路径的精细化、分布性表征成为可能，提供了超越平均遗憾表现的洞察。
• 结果表明，在弱信号设定下，Thompson采样中使用扩散先验具有理论合理性，支持了诸如将先验方差设为固定大常数等经验建议。

Figure 3 : Distribution of the (scaled) regret for two-armed Thompson sampling in the undersmoothed regime (i.e., with $c=0$ ), as a function of (scaled) arm gap $\delta$ . The histograms are aggregated over 100,000 realization of the limiting stochastic differential equation.