[论文解读] Scalable Thompson Sampling using Sparse Gaussian Process Models

Sattar Vakili, Henry B. Moss+3 more|Lancaster EPrints (Lancaster University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 72被引用 4

一句话总结

本文提出一种基于稀疏高斯过程的可扩展汤普森采样（S-GP-TS），实现了大规模预算下的高效批量贝叶斯优化。通过利用稀疏变分推断与解耦采样，该方法在不损失遗憾性能的前提下显著降低了计算复杂度，其遗憾性能在近似条件下与精确GP-TS的理论保证保持一致。

ABSTRACT

Thompson Sampling (TS) from Gaussian Process (GP) models is a powerful tool for the optimization of black-box functions. Although TS enjoys strong theoretical guarantees and convincing empirical performance, it incurs a large computational overhead that scales polynomially with the optimization budget. Recently, scalable TS methods based on sparse GP models have been proposed to increase the scope of TS, enabling its application to problems that are sufficiently multi-modal, noisy or combinatorial to require more than a few hundred evaluations to be solved. However, the approximation error introduced by sparse GPs invalidates all existing regret bounds. In this work, we perform a theoretical and empirical analysis of scalable TS. We provide theoretical guarantees and show that the drastic reduction in computational complexity of scalable TS can be enjoyed without loss in the regret performance over the standard TS. These conceptual claims are validated for practical implementations of scalable TS on synthetic benchmarks and as part of a real-world high-throughput molecular design task.

研究动机与目标

• 解决标准汤普森采样在高斯过程下计算成本过高的问题，其计算复杂度随观测数呈立方级增长。
• 为需要数百甚至数千次评估的问题（如噪声大、多峰或组合优化问题）提供大规模批量贝叶斯优化能力。
• 提供理论依据，证明在特定后验近似条件下，可扩展GP-TS的遗憾阶与精确GP-TS保持一致。
• 在合成基准和真实世界高通量分子设计任务上对方法进行实证验证。
• 证明当近似质量足够时，使用解耦采样的稀疏GP近似不会降低遗憾性能。

提出的方法

• 使用稀疏变分高斯过程（SVGP）通过低秩结构近似完整GP后验，将计算成本从O(t³)降低至O(m²t)，其中m ≪ t为诱导变量数量。
• 采用解耦采样：将汤普森采样分解为基于M个特征的固定先验分量与模型更新部分，实现O((m+M)N)的采样复杂度。
• 引入理论条件（假设3和4），证明在特定条件下近似GP-TS可达到与精确GP-TS相同的遗憾阶。
• 利用先前工作的谱界推导出对诱导变量数量和先验特征数量的要求，以确保低遗憾性能。
• 实现S-GP-TS并采用K均值与基于方差的贪婪法选择诱导点，比较其对性能的影响。
• 使用ADAM优化配合早停与学习率调度进行模型训练，并在对比中采用GIBBON作为基线获取函数。

实验结果

研究问题

• RQ1 在受控近似误差下，基于稀疏高斯过程的汤普森采样能否保持与精确GP-TS相同的遗憾阶？
• RQ2 在可扩展TS中，后验近似质量需满足何种条件才能保持遗憾性能？
• RQ3 不同的诱导点选择策略（K均值 vs. 基于方差的贪婪法）如何影响S-GP-TS在高维、噪声大或多峰函数上的性能？
• RQ4 S-GP-TS在遗憾性能与迭代效率方面，能在多大程度上超越现有批量贝叶斯优化方法？
• RQ5 S-GP-TS能否在真实世界高通量分子设计任务中实现有效扩展，且适用于大规模优化预算？

主要发现

• 当后验近似满足特定理论条件（假设3和4）时，S-GP-TS的遗憾性能可与精确GP-TS相媲美。
• 在5维高斯噪声（方差0.5）的Ackley函数上，S-GP-TS在B=100时优于序列基线，且在更少迭代次数内达到更低遗憾。
• 在6维噪声Hartmann函数上，S-GP-TS在B=100时的遗憾低于qEI与LP-EI等批量方法（后者仅支持B=25），表现更优。
• 在高探索性设置（如Ackley函数）中，基于方差的贪婪诱导点选择略优于K均值，表明其在复杂景观中更具优势。
• 在理想并行设置下（以BO迭代次数衡量），S-GP-TS仅需标准BO方法所需迭代次数的一小部分即可达到低遗憾。
• 该方法成功扩展至真实世界高通量分子设计任务，证明其在合成基准之外的实际可行性。