[论文解读] Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining

Emile Contal, Nicolas Vayatis|arXiv (Cornell University)|Feb 16, 2016

Advanced Bandit Algorithms Research参考文献 21被引用 6

一句话总结

本文通过利用泛化链（generic chaining）构建分层离散化树，提出了一种新颖的上置信度界（UCB）算法，用于连续域上的随机过程多臂赌博机问题。该算法在弱概率平滑性假设下实现了最先进（state-of-the-art）的遗憾边界，并为高斯过程证明了紧致的下界，将UCB的适用范围扩展至无限维函数空间，包括非线性泛函（如二次型）。

ABSTRACT

The paper considers the problem of global optimization in the setup of stochastic process bandits. We introduce an UCB algorithm which builds a cascade of discretization trees based on generic chaining in order to render possible his operability over a continuous domain. The theoretical framework applies to functions under weak probabilistic smoothness assumptions and also extends significantly the spectrum of application of UCB strategies. Moreover generic regret bounds are derived which are then specialized to Gaussian processes indexed on infinite-dimensional spaces as well as to quadratic forms of Gaussian processes. Lower bounds are also proved in the case of Gaussian processes to assess the optimality of the proposed algorithm.

研究动机与目标

• 解决现有UCB算法因要求有限动作空间而带来的局限性，使其能够在连续域上运行。
• 通过引入概率平滑性条件，放宽多臂赌博机优化中对强平滑性假设（如利普希茨连续性）的依赖。
• 将UCB策略的适用范围扩展至复杂随机过程泛函，如高斯过程的二次型。
• 提供理论保证，包括高概率遗憾边界和高斯过程多臂赌博机的下界。
• 设计一种计算高效的算法，其构建最优链式树的时间复杂度为二次方（O(|X|²)）。

提出的方法

• 利用由协方差结构导出的度量，在输入空间X上构建一系列嵌套的εh-网，形成分层树结构。
• 使用泛化链控制离散化误差，通过深度自适应细化实现探索与精度之间的平衡。
• 应用向后剪枝机制以保持树的平衡，确保在深度h处任意节点的子节点数不超过e^{2^h}，这对高概率边界至关重要。
• 使用反浓度不等式为节点赋值，以指导剪枝，优先保留具有高改进潜力的分支。
• 基于φ(α, Δ, m, u)函数定义节点值Vh(s)，量化子节点与父节点之间大偏离的概率。
• 将基于树的UCB选择与基于链式估计的方差置信区间相结合，以最小化累积遗憾。

实验结果

研究问题

• RQ1 UCB算法能否在不依赖如利普希茨连续性等强平滑性假设的前提下，被扩展至连续域？
• RQ2 泛化链如何被适配以构建分层离散化结构，从而在随机过程多臂赌博机中控制离散化误差？
• RQ3 对于无限维空间中的高斯过程，使遗憾最小化的链式树的最优深度与结构为何？
• RQ4 能否为高斯过程的非线性泛函（如二次型）推导出紧致的高概率遗憾与下界？
• RQ5 当输入空间的度量熵较低时，所提出的算法在遗憾方面是否仍为常数因子最优？

主要发现

• 所提算法在弱概率平滑性假设下，对随机过程实现了最先进（state-of-the-art）的遗憾边界，并具有高概率保证。
• 该算法以O(|X|²)时间构建泛化链树，使其在实际应用中具备计算可行性。
• 提出了一种新颖的向后剪枝程序，确保树的平衡性，并支持高概率下界，这是对先前工作的关键创新。
• 该方法证明了如下高概率下界：sup_x≻s f(x)−f(s) ≥ c_u sup_x≻s ∑_{i>h} Δ_i(x)2^{i/2}，其成立概率至少为1−e^{-u}。
• 该框架成功处理了高斯过程的非平凡泛函，如平方和、椭球上的非参数过程，解决了先前工作中所推测的不可能性问题。
• 下界结果证实，即使在度量熵较低的空间（如椭球）中，该算法的离散化策略也仅相差一个常数因子，因而为最优。