[论文解读] Nonparametric Stochastic Contextual Bandits

Melody Y. Guan, Heinrich Jiang|arXiv (Cornell University)|Jan 5, 2018

Advanced Bandit Algorithms Research参考文献 19被引用 5

一句话总结

本文提出了一种使用 k-NN 回归的非参数随机上下文 bandit 算法，具有理论保证，实现了子线性 regret $\widetilde{O}(T^{(1+D)/(2+D)})$，其中 $D$ 为上下文维度。该算法可自适应地适应数据的固有维度 $d$，在低维流形上实现更快的收敛速度，并在最小假设下一致地恢复最优臂区域的拓扑结构。

ABSTRACT

We analyze the $K$-armed bandit problem where the reward for each arm is a noisy realization based on an observed context under mild nonparametric assumptions. We attain tight results for top-arm identification and a sublinear regret of $\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$, where $D$ is the context dimension, for a modified UCB algorithm that is simple to implement ($k$NN-UCB). We then give global intrinsic dimension dependent and ambient dimension independent regret bounds. We also discuss recovering topological structures within the context space based on expected bandit performance and provide an extension to infinite-armed contextual bandits. Finally, we experimentally show the improvement of our algorithm over existing multi-armed bandit approaches for both simulated tasks and MNIST image classification.

研究动机与目标

• 解决在具有任意非线性奖励函数的上下文 bandit 中学习最优上下文到臂映射的挑战。
• 通过自适应数据流形的固有维度，克服非参数 bandit 学习中的维度灾难问题。
• 在对奖励函数不做强参数假设的前提下，为最优臂识别和 regret 最小化提供理论保证。
• 利用一致均匀性，恢复上下文空间的拓扑结构——例如，某个臂为最优的连通区域。
• 将框架扩展至无限臂上下文 bandit 问题，并在真实世界图像分类任务中验证性能。

提出的方法

• 使用 k-NN 回归估计每个臂的均值奖励函数，利用上下文空间中的局部邻域信息。
• 设计一种改进的 UCB 算法（k-NN-UCB），通过基于 k-NN 回归误差率推导的置信区间，平衡探索与利用。
• 应用非参数统计中的理论结果，限制 k-NN 估计的均匀偏差，确保在温和假设下的强一致性。
• 利用有效维度为固有维度 $d$ 而非环境维度 $D$ 的事实，当数据位于低维流形上时实现更快的收敛速度。
• 利用 k-NN 估计的一致均匀性，识别上下文空间中某个臂为最优的区域，从而实现拓扑结构恢复。
• 通过将臂空间建模为上下文上的连续函数，并使用 k-NN 动态估计最优动作，将框架扩展至无限臂 bandit 问题。

实验结果

研究问题

• RQ1 非参数方法是否能在不假设奖励函数线性关系的情况下，在随机上下文 bandit 中实现紧密的 regret 边界？
• RQ2 该算法的性能如何依赖于上下文空间的环境维度与固有维度？
• RQ3 该算法能否恢复上下文空间的拓扑结构，例如某个特定臂为最优的连通区域？
• RQ4 在具有复杂非线性决策边界的场景中，基于 k-NN 的 UCB 是否优于线性基线方法（如 LinUCB）？
• RQ5 该方法能否扩展至具有连续动作空间的无限臂上下文 bandit 问题？

主要发现

• 在温和的利普希茨连续性和次高斯噪声假设下，k-NN-UCB 算法实现了子线性 regret 边界 $\widetilde{O}(T^{(1+D)/(2+D)})$，其中 $D$ 为环境上下文维度。
• 当数据位于固有维度 $d < D$ 的低维流形上时，regret 改进为 $\widetilde{O}(T^{(1+d)/(2+d)})$，表明算法能自动适应有效维度。
• k-NN 回归在最优臂识别方面显著优于岭回归，在五次函数场景中将测试误差从 0.065 降低至 0.002，并在笑脸和靶心场景中实现接近零的误差。
• 在 MNIST 图像分类任务中，k-NN-UCB 的测试 regret 为 5.8%，而 LinUCB 为 17.5%，表明其在具有复杂非线性决策边界的现实数据中表现更优。
• 该方法成功恢复了上下文空间中某个臂为最优的连通区域，且具有均匀一致性的保证，即使形状和相对位置任意亦成立。
• 该算法无需对数据进行预处理，能自动适应上下文空间的底层几何结构，适用于高维现实数据中固有维度较低的场景。