[论文解读] Sub-sampling for Efficient Non-Parametric Bandit Exploration

Dorian Baudry, Emilie Kaufmann+1 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出 RB-SDA，一种基于随机块子采样的新型多臂赌博机算法，在无需针对分布进行调优的情况下，可在伯努利、高斯和泊松分布族中实现渐近最优遗憾。与 Thompson 采样不同，RB-SDA 在子采样对弈算法（SDA）框架内采用重采样策略，以平衡探索与利用，证明了对数 regret，并匹配单参数指数族的 Lai-Robbins 下界。

ABSTRACT

In this paper we propose the first multi-armed bandit algorithm based on re-sampling that achieves asymptotically optimal regret simultaneously for different families of arms (namely Bernoulli, Gaussian and Poisson distributions). Unlike Thompson Sampling which requires to specify a different prior to be optimal in each case, our proposal RB-SDA does not need any distribution-dependent tuning. RB-SDA belongs to the family of Sub-sampling Duelling Algorithms (SDA) which combines the sub-sampling idea first used by the BESA [1] and SSMC [2] algorithms with different sub-sampling schemes. In particular, RB-SDA uses Random Block sampling. We perform an experimental study assessing the flexibility and robustness of this promising novel approach for exploration in bandit models.

研究动机与目标

• 开发一种非参数赌博机算法，在无需事先了解底层分布的情况下，可在多个分布族中实现渐近最优遗憾。
• 克服 Thompson 采样因需分布特定先验才能实现最优性而存在的局限。
• 设计一种基于重采样的算法，在保持对数 regret 的同时对分布假设具有鲁棒性。
• 在一般臂分布条件下，为一类新算法——子采样对弈算法（SDA）——建立理论保证。
• 证明以速率 $ f_r = \sqrt{\log r} $ 进行强制探索，可确保单参数指数族的渐近最优性。

提出的方法

• RB-SDA 是子采样对弈算法（SDA）家族的成员，该算法通过臂之间的两两比较（对弈）选择动作，而非最大化某个指标。
• 该算法采用随机块（RB）子采样，即将每条臂的奖励划分为若干块，并随机选取一块进行比较。
• 子采样通过减少高拉动次数臂的有效样本量，惩罚其表现，从而促进对未充分采样臂的探索。
• 该方法依赖于广义平衡条件，以确保子采样不会使对弈过程偏向次优臂。
• 通过满足 $ f_r / \log\log r \to \infty $ 的序列 $ f_r $ 引入强制探索，确保在指数族中广义平衡条件成立。
• 理论分析利用 Kullback-Leibler 散度和独立同分布随机变量和的尾部概率界，控制错误对弈的概率。

实验结果

研究问题

• RQ1 基于重采样的赌博机算法是否可在无需分布特定调优的情况下，实现对多个分布族的渐近最优遗憾？
• RQ2 在对弈框架中使用随机块子采样是否能保持对数 regret 和渐近最优性？
• RQ3 在何种探索速率 $ f_r $ 条件下，广义平衡条件对单参数指数族成立？
• RQ4 强制探索是否可用于确保 SDA 算法在无界或参数化分布下的渐近最优性？
• RQ5 RB-SDA 与现有非参数算法（如非参数 Thompson 采样或 GIRO）相比，在 regret 和鲁棒性方面表现如何？

主要发现

• RB-SDA 在一般臂分布条件下实现对数 regret，包括伯努利、高斯和泊松分布。
• 对于单参数指数族，当强制探索速率为 $ f_r = \sqrt{\log r} $ 时，RB-SDA 满足广义平衡条件，确保渐近最优性。
• RB-SDA 的 regret 匹配单参数指数族的 Lai-Robbins 下界，证明其为渐近最优。
• 该算法无需事先指定分布族，而 Thompson 采样则必须针对每种分布进行调优。
• 当 $ f_r / \log\log r \to \infty $ 时，广义平衡条件成立，而 $ f_r = \sqrt{\log r} $ 满足此条件，确保理论保证。
• 实验结果证实 RB-SDA 在无需调优的情况下，对不同分布设定均表现出鲁棒性和灵活性。