[论文解读] Nonmyopic Gaussian Process Optimization with Macro-Actions

Dmitrii Kharkovskii, Chun Kai Ling+1 more|arXiv (Cornell University)|Feb 22, 2020

Advanced Bandit Algorithms Research参考文献 26被引用 4

一句话总结

本文提出了一种非贪心高斯过程优化框架，通过引入宏动作实现贝叶斯优化中的长时域规划，克服了贪心和批量方法的局限性。通过引入 $\epsilon$-贝叶斯最优宏动作策略及其具有理论性能保证的实时变体，实现了可扩展、自适应且理论可靠的复杂高预算目标函数优化。

ABSTRACT

This paper presents a multi-staged approach to nonmyopic adaptive Gaussian process optimization (GPO) for Bayesian optimization (BO) of unknown, highly complex objective functions that, in contrast to existing nonmyopic adaptive BO algorithms, exploits the notion of macro-actions for scaling up to a further lookahead to match up to a larger available budget. To achieve this, we generalize GP upper confidence bound to a new acquisition function defined w.r.t. a nonmyopic adaptive macro-action policy, which is intractable to be optimized exactly due to an uncountable set of candidate outputs. The contribution of our work here is thus to derive a nonmyopic adaptive epsilon-Bayes-optimal macro-action GPO (epsilon-Macro-GPO) policy. To perform nonmyopic adaptive BO in real time, we then propose an asymptotically optimal anytime variant of our epsilon-Macro-GPO policy with a performance guarantee. We empirically evaluate the performance of our epsilon-Macro-GPO policy and its anytime variant in BO with synthetic and real-world datasets.

研究动机与目标

• 解决在高预算、复杂目标函数设置下贪心和批量贝叶斯优化的次优性问题。
• 通过利用宏动作作为原始动作序列，在长达预算规模的时域内实现非贪心、自适应规划。
• 为高斯过程优化设计一种理论基础坚实的 $\epsilon$-贝叶斯最优宏动作策略。
• 设计该策略的实时变体，具备渐近最优性和性能保证，适用于实时部署。

提出的方法

• 将GP上置信界获取函数推广为非贪心自适应宏动作策略，实现前瞻规划。
• 提出一种新颖的 $\epsilon$-贝叶斯最优宏动作高斯过程优化策略（$\epsilon$-Macro-GPO），以处理在不可数的宏动作输出集合上优化的不可行性。
• 采用递归贝尔曼风格递推计算前瞻值，利用具有有界复杂度的结构化宏动作策略。
• 推导出实现 $\epsilon$-最优性所需的宏动作数量 $N$ 的理论界，表明 $N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$。
• 提出 $\epsilon$-Macro-GPO 的实时变体，保持性能保证的同时支持实时执行。
• 使用辅助引理界定向量函数和宏动作序列中不确定性传播，确保理论可处理性。

实验结果

研究问题

• RQ1 能否有效利用宏动作将非贪心贝叶斯优化扩展至更长时域，同时不牺牲理论保证？
• RQ2 当宏动作输出空间为不可数集时，如何构建非贪心自适应GPO的 $\epsilon$-贝叶斯最优策略？
• RQ3 在基于宏动作的非贪心GPO中，实现 $\epsilon$-最优性所需的理论样本复杂度是多少？
• RQ4 如何使所提策略适用于实时部署，同时保持性能保证？
• RQ5 在有限预算约束下，所提方法是否在收敛至全局最优方面优于贪心和批量贝叶斯优化算法？

主要发现

• $\epsilon$-Macro-GPO 策略在非贪心自适应高斯过程优化中实现了 $\epsilon$-贝叶斯最优性，理论样本复杂度为 $N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$。
• $\epsilon$-Macro-GPO 的实时变体保持了渐近最优性和性能保证，支持实时部署。
• 在合成数据集和真实世界数据集上的实证评估表明，$\epsilon$-Macro-GPO 在寻找全局最大值方面优于贪心 DB-GP-UCB 及其他基线贝叶斯优化方法，尤其在更大预算下表现更优。
• 在模拟 AUV 任务中，$\epsilon$-Macro-GPO 能成功规划宏动作以抵达全局最大热点区域，而贪心 DB-GP-UCB 则收敛至局部最大值。
• 该方法在前瞻长度达 8 次观测（H=4, N=1）时仍表现出显著优势，显著优于现有非贪心自适应贝叶斯优化方法（通常仅支持前瞻 5 次或更少）。
• 理论分析证实，通过递归引理，价值函数和不确定性传播均被有界，确保了策略的稳定性和收敛性。