[论文解读] Time-Varying Gaussian Process Bandit Optimization

Ilija Bogunovic, Jonathan Scarlett+1 more|arXiv (Cornell University)|Jan 25, 2016

Advanced Bandit Algorithms Research参考文献 25被引用 35

一句话总结

本文提出了两种新颖的算法 R-GP-UCB 和 TV-GP-UCB，用于时间变化的高斯过程上下文带 bandit 优化，其中奖励函数随时间演变。通过在马氏假设下对函数建模为时变高斯过程，这些算法在通过周期性重置或平滑遗忘适应函数变化的同时，平衡了探索与利用，实现了显式量化时间范围与函数变化率之间权衡的遗憾边界。

ABSTRACT

We consider the sequential Bayesian optimization problem with bandit feedback, adopting a formulation that allows for the reward function to vary with time. We model the reward function using a Gaussian process whose evolution obeys a simple Markov model. We introduce two natural extensions of the classical Gaussian process upper confidence bound (GP-UCB) algorithm. The first, R-GP-UCB, resets GP-UCB at regular intervals. The second, TV-GP-UCB, instead forgets about old data in a smooth fashion. Our main contribution comprises of novel regret bounds for these algorithms, providing an explicit characterization of the trade-off between the time horizon and the rate at which the function varies. We illustrate the performance of the algorithms on both synthetic and real data, and we find the gradual forgetting of TV-GP-UCB to perform favorably compared to the sharp resetting of R-GP-UCB. Moreover, both algorithms significantly outperform classical GP-UCB, since it treats stale and fresh data equally.

研究动机与目标

• 为解决奖励函数随时间变化的序列贝叶斯优化挑战，这在传感器网络和推荐系统等现实应用场景中十分常见。
• 开发能够区分过时数据与新鲜数据的算法，避免将过时观测视为同等信息量而导致性能下降。
• 使用具有马氏演化模型的高斯过程对时变奖励函数进行建模，捕捉时间与空间相关性。
• 提供理论遗憾边界，显式刻画时间范围与函数变化率之间的权衡。
• 通过实证结果证明，平滑遗忘（TV-GP-UCB）在动态环境中优于尖锐重置（R-GP-UCB）和经典 GP-UCB。

提出的方法

• 将时变奖励函数建模为遵循简单马氏模型的高斯过程，其演化形式为前一函数与独立同分布的 GP 样本的凸组合。
• 提出 R-GP-UCB，定期重置 GP 后验分布以丢弃旧数据，确保专注于近期观测。
• 引入 TV-GP-UCB，通过指数遗忘机制逐步降低旧数据的影响，实现对函数变化的平滑适应。
• 利用新颖的分析技术推导出两种算法的遗憾边界，以处理函数最大值和位置发生突变所导致的不稳定性。
• 使用二阶泰勒展开和集中不等式，将遗憾边界以函数变化率、核函数平滑度和时间范围的形式进行界定。
• 建立与算法无关的累积遗憾下界，表明所推导的上界在对数因子范围内是紧致的。

实验结果

研究问题

• RQ1 如何设计一种带 bandit 算法，以在时间变化的奖励函数下有效处理序列优化，同时保持低遗憾？
• RQ2 在时间变化函数存在的情况下，探索、利用与遗忘之间的最优权衡是什么？
• RQ3 不同的遗忘策略——尖锐重置与平滑遗忘——在动态环境中的性能影响如何？
• RQ4 对于时变 GP bandit 算法，可以推导出哪些理论遗憾边界？它们如何依赖于函数变化率和时间范围？
• RQ5 所提出的算法是否能在数据变旧的真实世界动态环境中，优于经典 GP-UCB？

主要发现

• 所提出的 TV-GP-UCB 算法（采用平滑遗忘）在合成数据和真实世界实验中均优于 R-GP-UCB（采用尖锐重置），尤其在函数渐变场景中表现更优。
• R-GP-UCB 和 TV-GP-UCB 均实现了显式依赖于时间范围和函数变化率的遗憾边界，展示了这些因素之间有原则性的权衡。
• 对于平方指数核和 Matérn 核，当函数变化率有界时，遗憾边界呈 O(√(T log T)) 阶，表明在平滑性假设下性能接近最优。
• 累积遗憾的与算法无关的下界为 Ω(Tε)，其中 ε 表征函数变化速率，表明上界在对数因子范围内是紧致的。
• 经典 GP-UCB 在时变环境中表现显著较差，因为它将所有数据同等对待，不考虑时间新旧，导致对动态环境适应能力差。
• 在交通速度数据集上的实证结果表明，TV-GP-UCB 在多日实验中始终比基线方法获得更低的遗憾，证实了其在真实世界动态系统中的鲁棒性。