[论文解读] Sequential Experimental Design for Transductive Linear Bandits

Tanner Fiez, Lalit Jain+2 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 10

一句话总结

本文引入了归纳线性Bandit问题，其目标是通过来自可能不同且有限的集合𝒳的噪声测量，从集合𝒁中识别出最优项。作者提出了RAGE，一种自适应的序列实验设计算法，通过聚焦于信息量丰富的测量向量，几乎达到信息论下界，实现了在高概率保证下最优臂识别的近似最优样本复杂度。

ABSTRACT

In this paper we introduce the transductive linear bandit problem: given a set of measurement vectors $\mathcal{X}\subset \mathbb{R}^d$, a set of items $\mathcal{Z}\subset \mathbb{R}^d$, a fixed confidence $δ$, and an unknown vector $θ^{\ast}\in \mathbb{R}^d$, the goal is to infer $ ext{argmax}_{z\in \mathcal{Z}} z^ opθ^\ast$ with probability $1-δ$ by making as few sequentially chosen noisy measurements of the form $x^ opθ^{\ast}$ as possible. When $\mathcal{X}=\mathcal{Z}$, this setting generalizes linear bandits, and when $\mathcal{X}$ is the standard basis vectors and $\mathcal{Z}\subset \{0,1\}^d$, combinatorial bandits. Such a transductive setting naturally arises when the set of measurement vectors is limited due to factors such as availability or cost. As an example, in drug discovery the compounds and dosages $\mathcal{X}$ a practitioner may be willing to evaluate in the lab in vitro due to cost or safety reasons may differ vastly from those compounds and dosages $\mathcal{Z}$ that can be safely administered to patients in vivo. Alternatively, in recommender systems for books, the set of books $\mathcal{X}$ a user is queried about may be restricted to well known best-sellers even though the goal might be to recommend more esoteric titles $\mathcal{Z}$. In this paper, we provide instance-dependent lower bounds for the transductive setting, an algorithm that matches these up to logarithmic factors, and an evaluation. In particular, we provide the first non-asymptotic algorithm for linear bandits that nearly achieves the information theoretic lower bound.

研究动机与目标

• 形式化归纳线性Bandit问题，其中测量向量𝒳与项目向量𝒁可能不同，目标是高概率地识别argmax_{z∈𝒁} zᵀθ*。
• 推导该设置下的实例相关下界，推广先前对线性和组合Bandit问题的下界。
• 开发一种自适应序列实验设计算法，几乎达到样本复杂度的信息论下界。
• 在多种设置下对算法进行实证评估，包括高维和组合配置，显示其优于非自适应和静态分配策略。

提出的方法

• 该算法采用序列设计策略，根据θ*的当前不确定性，自适应地选择𝒳中的测量向量x，聚焦于能减少最优z* ∈ 𝒁识别模糊性的方向。
• 它在𝒁中候选臂的差异上采用G-最优设计准则，将问题转化为优化区分最优臂的信息增益。
• 该方法维护一个关于θ*的置信椭球，并选择能最小化不确定性集体积的测量，特别关注最能减少最优臂选择模糊性的方向(x_i - x_j)。
• RAGE根据观测到的奖励和不确定性动态更新采样分布，确保每次测量均最大化关于最优臂的信息增益。
• 该算法设计为非渐近且实例相关，其理论保证与实例相关下界仅相差对数因子。
• 它利用了一种新颖的归纳设置下实验设计问题的公式化方法，其中活跃臂集合由𝒁中项目之间的差异定义，从而实现高效且有针对性的采样。

实验结果

研究问题

• RQ1 在归纳线性Bandit设置下，最优臂识别的实例相关样本复杂度下界是什么？
• RQ2 当𝒳 ≠ 𝒁，且𝒳受成本或可用性限制时，如何自适应地调整序列实验设计以最小化测量次数？
• RQ3 即使最优臂不可直接测量，自适应算法能否几乎达到该问题的信息论下界？
• RQ4 在多种配置下，基于𝒳的自适应采样与非自适应或静态分配相比，在样本效率方面表现如何？

主要发现

• RAGE实现了几乎匹配实例相关下界的样本复杂度，仅存在对数因子差距，使其成为首个非渐近的线性Bandit算法，几乎达到信息论极限。
• 在大量几乎相同的臂的实验中，RAGE显著优于LinGapE，后者对每个臂进行均匀采样，因此在臂数量增加时性能急剧下降。
• 在ℝ⁵中的球形臂分布实验中，RAGE通过聚焦于接近臂之间的信息性差异，优于ALBA；而ALBA在活跃向量上的G-最优设计导致次优采样。
• 在d=100的归纳示例中，RAGE显著优于静态𝒳𝒀-分配策略，证明了自适应设计相较于固定采样策略的价值。
• 该算法在多种设置下均保持优异性能，包括𝒳是𝒁的子集、𝒳包含不在𝒁中的不安全化合物，以及𝒁 ∩ 𝒳 = ∅的情况，凸显其通用性。
• 结果表明，基于θ*不确定性和臂差异方向信息的自适应采样，能显著提升样本效率，尤其在高维或组合设置中优势明显。