[论文解读] ProBO: Versatile Bayesian Optimization Using Any Probabilistic Programming Language

Willie Neiswanger, Kirthevasan Kandasamy+3 more|arXiv (Cornell University)|Jan 31, 2019

Machine Learning and Data Classification参考文献 48被引用 9

一句话总结

ProBO 通过利用标准 PPL 操作来计算和优化采集函数，而无需针对特定模型进行推导，从而实现了使用任意概率编程语言（PPL）进行贝叶斯优化。它通过集成灵活的基于 PPL 的模型（如压缩模型和盆地模型），在多任务、污染、多保真度等复杂场景中表现出色，优于标准高斯过程（GP）基贝叶斯优化方法。

ABSTRACT

Optimizing an expensive-to-query function is a common task in science and engineering, where it is beneficial to keep the number of queries to a minimum. A popular strategy is Bayesian optimization (BO), which leverages probabilistic models for this task. Most BO today uses Gaussian processes (GPs), or a few other surrogate models. However, there is a broad set of Bayesian modeling techniques that could be used to capture complex systems and reduce the number of queries in BO. Probabilistic programming languages (PPLs) are modern tools that allow for flexible model definition, prior specification, model composition, and automatic inference. In this paper, we develop ProBO, a BO procedure that uses only standard operations common to most PPLs. This allows a user to drop in a model built with an arbitrary PPL and use it directly in BO. We describe acquisition functions for ProBO, and strategies for efficiently optimizing these functions given complex models or costly inference procedures. Using existing PPLs, we implement new models to aid in a few challenging optimization settings, and demonstrate these on model hyperparameter and architecture search tasks.

研究动机与目标

• 实现使用任何概率编程语言（PPL）中实现的任意模型进行贝叶斯优化，克服高斯过程等固定代理模型的局限性。
• 开发一个通用的贝叶斯优化框架，能够兼容多种 PPL 推断输出（如样本、变分近似或迁移后验），而无需进行模型特定的推导。
• 通过设计新型基于 PPL 的模型来捕捉复杂系统结构，解决多任务、上下文相关、污染和多保真度等挑战性优化场景。
• 通过高效缓存和重用 PPL 操作，降低复杂模型下采集函数优化的计算成本。
• 证明灵活的、基于 PPL 的代理模型可显著减少昂贵优化任务中的查询次数。

提出的方法

• ProBO 基于三种核心 PPL 操作——gen、post 和 sample——构建通用抽象，用于计算采集函数，从而在无需模型特定推导的情况下兼容任意 PPL。
• 它提出一种多保真度采集函数优化算法（算法 6），将 post 和 gen 调用次数最多减少 3 倍，同时保持高性能。
• 在结构化建模方面，ProBO 采用压缩模型，对潜在高斯过程施加上下文相关的变换，实现对相关任务或上下文的联合优化。
• 通过仅使用三种基本 PPL 操作，支持将多个 PPL 模型的后验预测密度进行集成。
• 采集函数（如期望改进（EI）和置信上界（UCB））通过与 PPL 推断输出兼容的可微或随机优化策略进行计算和优化。
• 系统缓存中间 PPL 推断结果，避免重复计算，从而在昂贵的推断过程下仍能实现高效优化。

实验结果

研究问题

• RQ1 贝叶斯优化能否被推广至任意概率编程语言模型，而无需进行模型特定的采集函数推导？
• RQ2 当后验以样本、变分近似或 PPL 生成的隐式模型形式表示时，如何高效计算和优化采集函数？
• RQ3 基于 PPL 的模型（如压缩模型或盆地模型）是否能在复杂、非平稳或多保真度场景下，优于标准高斯过程模型，从而提升优化性能？
• RQ4 多保真度采集函数优化在多大程度上能减少昂贵的 PPL 推断调用次数，同时保持优化性能？
• RQ5 通过 PPL 操作实现的模型集成，能否在不确定性或部分信息条件下提升贝叶斯优化的鲁棒性和准确性？

主要发现

• 在陡峭、非平稳的复杂景观中，ProBO 搭配盆地模型在识别拐点方面优于标准 GP 基贝叶斯优化方法，而 GP 因局部拟合效果差而表现不佳。
• 在结构化多任务贝叶斯优化中，压缩模型实现了对相关任务的联合优化，性能优于独立 GP 或固定保真度基线方法。
• 多保真度采集函数（a_MF）相比高保真度采集函数，将 post 和 gen 调用次数减少了 3 倍，同时在合成任务和神经网络超参数调优任务中性能相当。
• ProBO 搭配基于 PPL 的集成模型，成功融合了辅助信息和多源数据，在污染或噪声观测场景下提升了鲁棒性。
• 在超参数和网络架构搜索任务上的实证结果表明，集成到 ProBO 中的基于 PPL 的模型相比标准 GP 基贝叶斯优化，实现了更快收敛和更优的最终目标值。
• 该系统依赖通用 PPL 操作，实现了与现有 PPL（如 Pyro、Stan 和 TensorFlow Probability）模型的无缝集成，无需为每种模型类型单独实现。