[论文解读] Multiarmed Bandits With Limited Expert Advice

Satyen Kale|arXiv (Cornell University)|Jun 19, 2013

Advanced Bandit Algorithms Research参考文献 8被引用 6

一句话总结

该论文通过提出一种新算法，解决了 COLT 2013 年关于建议高效多臂老虎机的开放问题，该算法在每轮仅查询 $N$ 位专家中的 $M$ 位时，实现了 $ ilde{O}(\sqrt{\frac{\min\{K,M\}N}{M}T}\right)$ 的遗憾界。该方法采用基于分组的专家聚合与损失估计，理论分析表明该界通过匹配的下界证明近乎紧致。

ABSTRACT

We solve the COLT 2013 open problem of \citet{SCB} on minimizing regret in the setting of advice-efficient multiarmed bandits with expert advice. We give an algorithm for the setting of K arms and N experts out of which we are allowed to query and use only M experts' advices in each round, which has a regret bound of ilde{O}\bigP{\sqrt{\frac{\min\{K, M\} N}{M} T}} after T rounds. We also prove that any algorithm for this problem must have expected regret at least ildeΩ\bigP{\sqrt{\frac{\min\{K, M\} N}{M}T}}, thus showing that our upper bound is nearly tight.

研究动机与目标

• 解决 COLT 2013 年关于在有限专家建议下最小化多臂老虎机遗憾的开放问题。
• 设计一种算法，仅从 $N$ 位可用专家中每轮使用 $M$ 位建议，实现高效利用。
• 实现一个在 $M=1$ 和 $M=N$ 两种情形下已知界限之间平滑插值的遗憾界，并使其近乎最优。
• 证明一个近乎匹配的下界，从而确立所提遗憾界的紧致性。

提出的方法

• 该算法将 $N$ 位专家划分为 $R = N/M$ 个大小为 $M$ 的组，并使用预测专家框架在这些组上维护一个分布。
• 在每轮中，从组上的分布 $r_t$ 中采样一个组 $I_t$，然后从所选组的聚合建议分布 $p_t^{I_t}$ 中采样一个动作 $A_t$。
• 使用逆概率加权损失估计器 $\hat{\ell}_t^i(a)$ 仅对所查询的 $M$ 位专家估计损失，从而确保计算高效且估计无偏。
• 该方法采用 PolyINF 预报器或用于专家预测的乘法权重方法，其遗憾分析依赖于 KL 散度和集中不等式。
• 分析利用了“球放入桶”过程来界定推荐相同动作的专家期望数量，从而在遗憾中引入 $\min\{K,M\}$ 因子。
• 通过随机优势论证和测度变换技术推导出下界，表明上界近乎紧致。

实验结果

研究问题

• RQ1 我们能否设计一种算法，在每轮仅查询 $M$ 位专家建议的情况下，实现在建议高效多臂老虎机设置下的次线性遗憾？
• RQ2 在遗憾方面，专家数量 $N$、查询数量 $M$ 和动作数量 $K$ 之间的最优权衡是什么？
• RQ3 推测的遗憾界 $O\left(\sqrt{\frac{KN\log N}{M}T}\right)$ 是否紧致，或可进一步改进？
• RQ4 该设置下的信息论下界是什么？与上界相比如何？

主要发现

• 在 $T$ 轮后，所提算法实现了 $4\sqrt{\frac{\min\{K,M\}N\log(8M/\min\{K,M\})}{M}T}$ 的期望遗憾。
• 遗憾界与 $M=1$ 和 $M=N$ 两种特殊情况下的最佳已知结果一致，并在两者之间平滑插值。
• 上界优于 Seldin 等人 [8] 提出的推测界 $O\left(\sqrt{\frac{KN\log N}{M}T}\right)$。
• 证明了近乎匹配的下界 $\tilde{\Omega}\left(\sqrt{\frac{\min\{K,\frac{M}{\log K}\}N}{M}T}\right)$，表明上界近乎紧致。
• 分析揭示有效动作数为 $K' = \min\{K,M\}$，其因专家建议重叠而主导遗憾的缩放行为。
• 下界构造使用了伯努利损失的测度变换论证与“球放入桶”过程，以界定推荐相同动作的专家最大数量。