[论文解读] Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming

Kirthevasan Kandasamy, Willie Neiswanger+4 more|arXiv (Cornell University)|May 25, 2018

Advanced Bandit Algorithms Research参考文献 30被引用 3

一句话总结

本文提出了一种通用的贝叶斯实验设计（DOE）框架——短视后验采样（MPS），该框架利用概率编程和后验采样，以序列方式选择实验，适用于复杂、多目标的实验目标。在自适应子模性和单调性条件下，MPS 在短视策略和全局最优策略之间均实现了次线性遗憾，从而在现实世界科学与工业应用中实现了高效且可扩展的DOE，且对先验假设要求极少。

ABSTRACT

We design a new myopic strategy for a wide class of sequential design of experiment (DOE) problems, where the goal is to collect data in order to to fulfil a certain problem specific goal. Our approach, Myopic Posterior Sampling (MPS), is inspired by the classical posterior (Thompson) sampling algorithm for multi-armed bandits and leverages the flexibility of probabilistic programming and approximate Bayesian inference to address a broad set of problems. Empirically, this general-purpose strategy is competitive with more specialised methods in a wide array of DOE tasks, and more importantly, enables addressing complex DOE goals where no existing method seems applicable. On the theoretical side, we leverage ideas from adaptive submodularity and reinforcement learning to derive conditions under which MPS achieves sublinear regret against natural benchmark policies.

研究动机与目标

• 开发一种灵活、通用的序列实验设计（DOE）框架，以适应多样化的科学与工业目标。
• 使实践者能够通过贝叶斯模型融入领域特定知识，并通过可定制的惩罚函数指定目标。
• 设计一种计算高效的短视策略，在不进行长期规划的情况下，仍能与最优策略保持竞争力。
• 通过推导在何种条件下该方法相对于最优策略可实现次线性遗憾，为所提方法的性能提供理论支持。
• 通过实证结果展示其与专用方法的竞争力，并验证其在现有方法失效的复杂DOE任务中的适用性。

提出的方法

• 该方法采用后验采样（Thompson采样）进行短视实验选择，从模型参数的后验分布中抽样以指导动作选择。
• 利用概率编程表达复杂、领域特定的模型与推理过程，实现灵活且可扩展的实现。
• 该算法设计支持使用多个工作进程进行同步和异步并行执行。
• 关键组件是使用惩罚函数 $\lambda$ 来量化与目标相关的成本，目标是最小化随时间推移的期望 $\lambda$。
• 理论分析基于自适应子模性和单调性，以界定向短视策略的近似误差与估计误差。
• 该方法在合成数据和真实世界DOE任务中进行了实证评估，包括多目标优化与主动学习，结果表明其在性能上优于专用基线方法。

实验结果

研究问题

• RQ1 在何种条件下，短视后验采样策略在序列DOE中相对于全局最优策略可实现次线性遗憾？
• RQ2 如何设计一种通用的贝叶斯DOE框架，以处理复杂、多目标实验，而无需针对具体问题重新设计算法？
• RQ3 概率编程与近似贝叶斯推断在多大程度上能够实现现实世界应用中DOE策略的可扩展与灵活性？
• RQ4 基于后验采样的短视策略在具有时间依赖性和非线性模型的场景中，能否有效平衡探索与利用？
• RQ5 在实证有效性与理论保证两方面，所提方法与专用算法相比表现如何？

主要发现

• 所提出的短视后验采样（MPS）算法在短视最优策略 $\pi_{\rm M}^{\star}$ 下实现次线性遗憾，遗憾随 $\sqrt{\Psi_n / n}$ 衰减，且在温和正则性条件下成立。
• 在惩罚函数 $\lambda$ 满足单调性与自适应子模性条件下，MPS 实现性能保证 $ (1 - \gamma) \cdot \mathbb{E}[\mu(D^\star_{\gamma n})] - B\sqrt{\Psi_n / (2n)} $，其中 $\mu = 1 - \lambda$，表明其与全局最优策略 $\pi_{\rm G}^{\star}$ 具有竞争力。
• 实证结果表明，尽管MPS采用通用框架，其在多目标优化与主动学习等多样化DOE任务中仍表现出与专用方法相当的竞争力。
• 该方法能够解决现有方法无法适用的复杂DOE问题，尤其适用于多项目标相互依赖且实验成本高昂的场景。
• 理论分析确认，MPS 同时控制了估计误差（学习短视策略）与近似误差（近似全局最优策略），并提供了统一的性能界。
• 该框架具备可扩展性，支持并行执行，且对工作进程数量的依赖较弱，适用于大规模DOE应用。