[论文解读] The Multi-fidelity Multi-armed Bandit

Kirthevasan Kandasamy, Gautam Dasarathy+2 more|arXiv (Cornell University)|Oct 30, 2016

Advanced Bandit Algorithms Research被引用 10

一句话总结

本文提出MF-UCB，一种用于随机多臂赌博机的多保真置信上界算法，其中每条臂可在多种保真度下采样，每种保真度具有不同的成本和有偏估计。通过利用更便宜、保真度更低的近似值快速剔除次优臂，MF-UCB相比标准UCB减少了遗憾，其理论边界下表现接近最优，并在合成问题上展现出优越的实验结果。

ABSTRACT

We study a variant of the classical stochastic $K$-armed bandit where observing the outcome of each arm is expensive, but cheap approximations to this outcome are available. For example, in online advertising the performance of an ad can be approximated by displaying it for shorter time periods or to narrower audiences. We formalise this task as a multi-fidelity bandit, where, at each time step, the forecaster may choose to play an arm at any one of $M$ fidelities. The highest fidelity (desired outcome) expends cost $λ^{(m)}$. The $m^{ ext{th}}$ fidelity (an approximation) expends $λ^{(m)} < λ^{(M)}$ and returns a biased estimate of the highest fidelity. We develop MF-UCB, a novel upper confidence bound procedure for this setting and prove that it naturally adapts to the sequence of available approximations and costs thus attaining better regret than naive strategies which ignore the approximations. For instance, in the above online advertising example, MF-UCB would use the lower fidelities to quickly eliminate suboptimal ads and reserve the larger expensive experiments on a small set of promising candidates. We complement this result with a lower bound and show that MF-UCB is nearly optimal under certain conditions.

研究动机与目标

• 形式化一个多保真度赌博机设置，其中臂可在不同保真度下采样，成本递增且偏差递减。
• 解决在高保真度结果昂贵但存在更便宜、有偏近似值的场景下的探索-利用权衡问题。
• 开发一种自适应使用低保真度进行探索、并将高保真度查询保留给有希望的臂的算法。
• 理论上刻画所提方法的遗憾，并证明在特定条件下其近乎最优。
• 通过实证验证，MF-UCB在使用更少高保真度采样次数的同时，实现了更低的累积遗憾，优于标准UCB。

提出的方法

• MF-UCB通过将保真度水平和采样成本纳入置信区间，扩展了经典UCB原则。
• 该算法为每个保真度层级下的每条臂维护独立的置信区间，高保真度的置信区间更紧密。
• 采用分层选择策略：使用低保真度尽早识别并剔除期望奖励较低的臂。
• 根据估计的奖励差距和成本-方差比，动态分配采样预算至不同保真度层级。
• 定义集合 $\mathcal{K}^{(m)}$，按保真度 $m$ 下的估计性能对臂进行分组，以实现结构化探索。
• 理论分析基于对奖励偏差和方差的假设，并利用测度变换方法推导遗憾下界。

实验结果

研究问题

• RQ1 能否有效利用更便宜、有偏的近似值来减少昂贵高保真度实验中的遗憾？
• RQ2 如何在多个保真度层级之间分配采样资源以最小化累积遗憾？
• RQ3 多保真度赌博机算法的理论遗憾边界是什么？与标准UCB相比如何？
• RQ4 MF-UCB在遗憾方面是否近乎最优？在何种条件下可实现此性能？
• RQ5 在实践中，使用低保真度近似值如何影响高保真度查询的分配？

主要发现

• MF-UCB的遗憾边界为 $\mathcal{O}\left((\lambda^{(1)}K + \lambda^{(2)}|\mathcal{K}_g|)\log(\Lambda / \lambda^{(2)})\right)$，当 $\lambda^{(1)} < \lambda^{(2)}$ 且 $|\mathcal{K}_g| < K$ 时，优于标准UCB。
• 该算法使用低保真度进行探索并剔除次优臂，将高保真度采样保留给一小部分有希望的候选臂。
• 实验结果表明，MF-UCB在多种具有高斯和伯努利奖励的合成问题上，始终优于标准UCB。
• MF-UCB的遗憾梯度小于UCB，表明其在采样次数增加时具有更优的缩放特性。
• 推导出遗憾的理论下界，表明在给定假设下MF-UCB近乎最优。
• 该算法性能对保真度层级的选择具有鲁棒性，当 $\lambda^{(1)} \ll \lambda^{(2)}$ 时，可实现显著的成本节约。