[论文解读] Why Non-myopic Bayesian Optimization is Promising and How Far Should We Look-ahead? A Study via Rollout

Xubo Yue, Raed Al Kontar|arXiv (Cornell University)|Nov 4, 2019

Advanced Bandit Algorithms Research参考文献 30被引用 7

一句话总结

本文提出了一种基于滚动优化的非贪心贝叶斯优化方法，通过利用短期前瞻规划，改进了贪心方法。该方法在顺序改进启发式下证明了滚动优化可保证优于贪心策略，并提供了选择滚动时域的合理准则，实现了最小的误差传播和计算成本下的优越性能。

ABSTRACT

Lookahead, also known as non-myopic, Bayesian optimization (BO) aims to find optimal sampling policies through solving a dynamic program (DP) that maximizes a long-term reward over a rolling horizon. Though promising, lookahead BO faces the risk of error propagation through its increased dependence on a possibly mis-specified model. In this work we focus on the rollout approximation for solving the intractable DP. We first prove the improving nature of rollout in tackling lookahead BO and provide a sufficient condition for the used heuristic to be rollout improving. We then provide both a theoretical and practical guideline to decide on the rolling horizon stagewise. This guideline is built on quantifying the negative effect of a mis-specified model. To illustrate our idea, we provide case studies on both single and multi-information source BO. Empirical results show the advantageous properties of our method over several myopic and non-myopic BO algorithms.

研究动机与目标

• 解决由于模型误设导致的非贪心贝叶斯优化中误差传播的挑战。
• 为在贝叶斯优化中使用滚动优化作为难以求解的动态规划的次优近似提供理论依据。
• 为基于滚动优化的非贪心贝叶斯优化中的滚动时域选择提供实用指导。
• 通过实证验证，短时域前瞻规划的滚动优化方法在收敛速度和最终解质量上均优于贪心和更长时域的非贪心方法。
• 验证滚动优化在单信息源和多信息源贝叶斯优化设置下的有效性。

提出的方法

• 作者使用滚动优化（一种动态规划的次优近似）来解决贝叶斯优化中难以求解的前瞻问题。
• 滚动优化通过问题特定的启发式方法，在滚动时域内模拟未来步骤，近似长期规划的价值。
• 他们证明，在顺序改进启发式类下，滚动优化可保证优于其贪心对应方法。
• 推导出一个理论条件，以确保滚动优化中使用的启发式方法为滚动优化改进，从而提供性能保证。
• 基于量化模型误设的负面影响，开发了一套实用的时域选择准则，用于在每个阶段选择滚动时域。
• 该方法被应用于单信息源和多信息源贝叶斯优化，并在基准问题上进行了实证验证。

实验结果

研究问题

• RQ1 基于滚动优化的非贪心贝叶斯优化能否在理论上证明优于贪心方法？
• RQ2 在基于滚动优化的非贪心贝叶斯优化中，如何系统性地选择滚动时域，以在性能和误差传播之间取得平衡？
• RQ3 在模型误设条件下，基于滚动优化的非贪心贝叶斯优化性能与贪心方法及更长时域的非贪心方法相比如何？
• RQ4 通过滚动优化实现的短时域前瞻是否在计算成本与优化性能之间提供了有利的权衡？
• RQ5 所提出的方法能否有效处理多信息源贝叶斯优化设置？

主要发现

• 当使用顺序改进启发式时，滚动优化在理论上可保证优于贪心贝叶斯优化。
• 所提出的滚动时域选择准则能有效平衡长期奖励与模型误设引起的误差传播。
• 实证结果表明，基于滚动优化的方法在收敛速度和最终解质量方面均优于贪心和非贪心基线方法。
• 短时域前瞻（例如2–3步）在保持计算高效和对模型误差鲁棒的同时，带来了显著的性能提升。
• 该方法在单信息源和多信息源贝叶斯优化中均表现出色，验证了其通用性。
• 研究证实，基于滚动优化的非贪心贝叶斯优化在所提出的时域选择规则指导下具有前景且具备实际可行性。