[论文解读] Optimizing Sequential Experimental Design with Deep Reinforcement Learning

Tom Blau, Edwin V. Bonilla+2 more|arXiv (Cornell University)|Feb 2, 2022

Machine Learning in Materials Science被引用 9

一句话总结

本文提出了一种深度强化学习（RL）框架，将序列实验设计（SED）建模为马尔可夫决策过程（MDP），从而在连续和离散设计空间中实现高效、非短视的优化——即使概率模型为黑箱亦可适用。该方法通过策略梯度方法实现最先进性能，无需可微模型或基于梯度的优化，优于各类情境下的现有摊销化与非摊销化基线方法。

ABSTRACT

Bayesian approaches developed to solve the optimal design of sequential experiments are mathematically elegant but computationally challenging. Recently, techniques using amortization have been proposed to make these Bayesian approaches practical, by training a parameterized policy that proposes designs efficiently at deployment time. However, these methods may not sufficiently explore the design space, require access to a differentiable probabilistic model and can only optimize over continuous design spaces. Here, we address these limitations by showing that the problem of optimizing policies can be reduced to solving a Markov decision process (MDP). We solve the equivalent MDP with modern deep reinforcement learning techniques. Our experiments show that our approach is also computationally efficient at deployment time and exhibits state-of-the-art performance on both continuous and discrete design spaces, even when the probabilistic model is a black box.

研究动机与目标

• 解决现有摊销化贝叶斯最优实验设计（BOED）方法的局限性，这些方法要求模型可微，且仅限于连续设计空间。
• 在连续和离散设计空间中实现非短视、计算高效的实验设计。
• 开发一种不依赖概率模型梯度计算的通用框架。
• 相比基于梯度的策略优化方法，提升设计空间的探索能力。
• 证明将SED建模为MDP并辅以恰当的奖励设计，可借助现成的强化学习算法实现更优性能。

提出的方法

• 作者将序列实验设计重新表述为马尔可夫决策过程（MDP），其中状态表示模型参数的当前后验分布，动作是实验设计，奖励基于期望信息增益（EIG）。
• 他们使用先验对比估计（PCE）下界，以可微且可扩展的方式估计EIG，从而支持策略网络的训练。
• 通过策略梯度方法（如PPO）训练深层策略网络，以最大化一系列实验中的累积期望奖励。
• 该方法无需对概率模型进行反向传播，因此适用于黑箱模型。
• 适当的奖励分解至关重要：奖励被分解以反映每一步的信息增益，避免稀疏或误导性的信用分配。
• 该方法为摊销化方法，仅需一次训练阶段，即可在部署时实现快速推理。

实验结果

研究问题

• RQ1 强化学习能否有效应用于同时包含连续和离散设计空间的序列实验设计问题？
• RQ2 在非可微或黑箱概率模型设置下，基于RL的实验设计性能与基于梯度的摊销化方法相比如何？
• RQ3 恰当的MDP建模与奖励设计对强化学习智能体在实验设计中性能的影响是什么？
• RQ4 基于RL的策略能否发现比基于梯度的策略优化方法更丰富多样且更具信息量的设计？
• RQ5 探索设计空间的能力在非短视实验设计中在多大程度上提升了性能？

主要发现

• 所提出的基于RL的方法在连续设计空间中显著优于所有基线方法，包括非摊销化与摊销化方法，即使后者依赖可微模型。
• 在离散设计空间中，该方法性能与最佳非摊销化基线相当，而摊销化基线因梯度需求而失效。
• 对于梯度不可用的黑箱模型，该RL方法实现了最先进性能，而大多数基线方法无法适用。
• 消融研究证实，简单的奖励设计会导致性能低下，凸显将EIG目标正确分解为逐步奖励的重要性。
• 训练后的RL策略所提出的实验设计比基于梯度的策略优化方法更具多样性和信息量，表明其探索能力更优。
• 该方法在部署时保持快速推理速度，与摊销化方法相当，尽管其适用范围更广。