[论文解读] Parallel Best Arm Identification in Heterogeneous Environments

Nikolai Karpov, Qin Zhang|arXiv (Cornell University)|Jul 16, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文研究在通信受限的非独立同分布（non-IID）多臂赌博机设置下的协作最优臂识别问题，表明在异质环境中学习速度提升受到严重限制。研究证明，即使在通信轮数恒定时，实现恒定速度提升也要求代理数量呈多项式增长；与独立同分布（IID）设置相比，本地自适应性带来的收益微乎其微。

ABSTRACT

In this paper, we study the tradeoffs between the time and the number of communication rounds of the best arm identification problem in the heterogeneous collaborative learning model, where multiple agents interact with possibly different environments and they want to learn in parallel an objective function in the aggregated environment. By proving almost tight upper and lower bounds, we show that collaborative learning in the heterogeneous setting is inherently more difficult than that in the homogeneous setting in terms of the time-round tradeoff.

研究动机与目标

• 理解在非独立同分布数据下协作学习中时间加速与轮次复杂度之间的基本权衡。
• 证明在非独立同分布数据上进行协作学习比在独立同分布数据上更困难。
• 分析在异质环境中通信受限与代理自适应性的影响。
• 建立在非独立同分布设置下实现有意义加速所需代理数量的下界。
• 比较非独立同分布数据分布下自适应与非自适应算法的性能。

提出的方法

• 提出一种协作学习模型，其中K个代理与不同环境交互，并仅在每轮结束时进行通信。
• 设计一种基于分层淘汰策略的算法，根据经验均值估计逐轮剔除臂。
• 使用Chernoff-Hoeffding不等式控制估计误差，条件于所有经验均值接近真实均值的高概率事件。
• 引入一个关键事件 $\mathcal{E}_a$，其中所有估计均值与真实均值的偏差在 $\Delta_{\pi(n_{r+1})}/2$ 以内，以确保正确识别臂。
• 采用时间分配方案，每轮 $r$ 为每个代理分配 $T_{r+1} = \frac{n^{r/R}T}{nR}$ 次抽取，以平衡各轮的探索。
• 通过并集界和浓度不等式分析误差概率，表明 $\Pr[\mathcal{E}_a] \geq 1 - 2nR \exp\left(\frac{-T}{2n^{1/R}R\sum_k \alpha_k^2}\right)$。

实验结果

研究问题

• RQ1 在非独立同分布数据下，通信轮数 $R$ 如何影响协作最优臂识别的可实现加速？
• RQ2 当 $R = O(1)$ 时，在非独立同分布设置下实现恒定加速所需的最少代理数量是多少？
• RQ3 在非独立同分布环境中，本地自适应性是否能显著减少正确识别最优臂所需的轮数？
• RQ4 自适应算法与非自适应算法在非独立同分布协作赌博机学习中的性能如何比较？
• RQ5 异质多代理赌博机学习中，通信效率与加速的根本限制是什么？

主要发现

• 当 $R = O(1)$ 时，即使实现 $\tilde{\Omega}(1)$ 加速，也要求代理数量在臂的数量 $n$ 上呈多项式增长，这与IID情况不同。
• 在非独立同分布设置中，学习加速可能小于1（即出现减速），这在IID设置中是不可能的。
• 与IID情况中自适应算法显著优于非自适应算法不同，在非独立同分布环境中，本地自适应性带来的收益微乎其微。
• 所提出的算法在事件 $\mathcal{E}_a$ 下以高概率实现正确最优臂识别，其失败概率随 $T$ 呈指数衰减。
• 该算法的通信成本为 $O(nK)$ 个词，根据 [KZ22] 的下界，这在对数因子范围内是最优的。
• 分析表明，误差概率衰减为 $\exp\left(\frac{-T}{2Hn^{1/R}R\sum_k \alpha_k^2}\right)$，其中 $H$ 是与臂间差距相关的与问题相关的参数。