[论文解读] The K-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates

Henry W. J. Reeve, Joe Mellor+1 more|arXiv (Cornell University)|Mar 1, 2018

Advanced Bandit Algorithms Research参考文献 17被引用 6

一句话总结

本文提出了一种带协变量的多臂赌博机的k-最近邻UCB算法，通过在度量空间中利用局部邻域估计来自适应地平衡探索与利用。在低内在维度和边缘条件假设下，该方法在对数因子范围内实现了极小极大最优遗憾，且无需事先知晓维度或时间范围。

ABSTRACT

In this paper we propose and explore the k-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates. We focus on a setting where the covariates are supported on a metric space of low intrinsic dimension, such as a manifold embedded within a high dimensional ambient feature space. The algorithm is conceptually simple and straightforward to implement. The k-Nearest Neighbour UCB algorithm does not require prior knowledge of the either the intrinsic dimension of the marginal distribution or the time horizon. We prove a regret bound for the k-Nearest Neighbour UCB algorithm which is minimax optimal up to logarithmic factors. In particular, the algorithm automatically takes advantage of both low intrinsic dimensionality of the marginal distribution over the covariates and low noise in the data, expressed as a margin condition. In addition, focusing on the case of bounded rewards, we give corresponding regret bounds for the k-Nearest Neighbour KL-UCB algorithm, which is an analogue of the KL-UCB algorithm adapted to the setting of multi-armed bandits with covariates. Finally, we present empirical results which demonstrate the ability of both the k-Nearest Neighbour UCB and k-Nearest Neighbour KL-UCB to take advantage of situations where the data is supported on an unknown sub-manifold of a high-dimensional feature space.

研究动机与目标

• 解决现有基于UCB的多臂赌博机带协变量算法的局限性，特别是其对欧几里得结构的依赖以及对dyadic立方体的划分。
• 克服现有方法（如UCBogram和ABSE）中对内在维度和时间范围的先验知识需求。
• 开发一种能够适应协变量空间低内在维度和低噪声（通过边缘条件）的算法，从而改善遗憾性能。
• 为k-NN框架中的UCB和KL-UCB变体提供理论保证，确保在对数因子范围内达到极小极大最优。
• 使该方法可应用于非欧几里得度量空间，如由Wasserstein或编辑距离定义的空间，而这些空间中先前的方法因几何失真而失效。

提出的方法

• 提出一种k-最近邻UCB算法，利用当前协变量在度量空间中的k个最近邻来估计每条臂的期望奖励。
• 基于经验均值奖励和与k-邻域内观测数倒数成比例的置信区间宽度，为每条臂构建上置信界。
• 利用度量空间结构定义邻域，使该方法可应用于非欧几里得空间，如由Wasserstein或编辑距离定义的空间。
• 引入一种k-NN KL-UCB变体，采用基于Kullback-Leibler散度的置信界，类似于KL-UCB，以在有界奖励下获得更紧的遗憾界。
• 在奖励函数Lipschitz连续性和奖励分布边缘条件的假设下进行理论分析。
• 推导出与协变量空间内在维度和边缘参数最优相关的遗憾界，实现对数因子范围内的极小极大最优。

实验结果

研究问题

• RQ1 基于k-NN的UCB算法是否能在不依赖内在维度或时间范围先验知识的前提下，在带协变量的多臂赌博机中实现极小极大最优遗憾？
• RQ2 在传统基于划分的方法失效的非欧几里得度量空间中，k-NN UCB算法表现如何？
• RQ3 该算法在高维特征空间中嵌入的低内在维数流形上能多大程度上实现自适应？
• RQ4 在有界奖励和低噪声条件下，k-NN KL-UCB变体是否能实现比标准k-NN UCB更紧的遗憾界？
• RQ5 在边缘条件假设下，k-NN UCB算法的理论遗憾界是什么？其与已知下界相比如何？

主要发现

• 在低内在维度和边缘条件假设下，k-最近邻UCB算法实现了极小极大最优遗憾，仅在对数因子范围内。
• 该算法无需事先知晓协变量边际分布的内在维度或时间范围，具有自适应性和实用性。
• k-NN KL-UCB变体通过基于KL散度的更紧置信区间，实现了有界奖励下的改进遗憾界，提升了实际性能。
• 理论分析表明，在边缘条件参数$ \nu $下，遗憾界为$ O(n^{1 - \frac{\nu+1}{d+2}}) $，其中$ d $为内在维度，与已知下界仅在对数因子范围内存在差异。
• 实验结果表明，k-NN UCB和k-NN KL-UCB在高维特征空间中能有效利用未知的低维子流形。
• 该方法适用于非欧几里得度量空间——如由Wasserstein或编辑距离定义的空间——而此前基于划分的算法因几何失真而失效。