[论文解读] Sequential Bayesian optimal experimental design via approximate dynamic programming

Xun Huan, Youssef Marzouk|arXiv (Cornell University)|Apr 28, 2016

Optimal Experimental Design Methods参考文献 46被引用 38

一句话总结

本文提出了一种基于近似动态规划（ADP）的序列贝叶斯最优实验设计（sOED）框架，用于在不确定性条件下解决反馈式实验设计问题。通过将sOED建模为动态规划问题，并采用基于回归的值函数逼近进行逆向归纳，该方法能够在非线性、高维设置下实现最优、自适应的实验选择——在污染源反演问题中，其性能显著优于批量设计与贪婪设计。

ABSTRACT

The design of multiple experiments is commonly undertaken via suboptimal strategies, such as batch (open-loop) design that omits feedback or greedy (myopic) design that does not account for future effects. This paper introduces new strategies for the optimal design of sequential experiments. First, we rigorously formulate the general sequential optimal experimental design (sOED) problem as a dynamic program. Batch and greedy designs are shown to result from special cases of this formulation. We then focus on sOED for parameter inference, adopting a Bayesian formulation with an information theoretic design objective. To make the problem tractable, we develop new numerical approaches for nonlinear design with continuous parameter, design, and observation spaces. We approximate the optimal policy by using backward induction with regression to construct and refine value function approximations in the dynamic program. The proposed algorithm iteratively generates trajectories via exploration and exploitation to improve approximation accuracy in frequently visited regions of the state space. Numerical results are verified against analytical solutions in a linear-Gaussian setting. Advantages over batch and greedy design are then demonstrated on a nonlinear source inversion problem where we seek an optimal policy for sequential sensing.

研究动机与目标

• 开发一种严格的、基于反馈的序列最优实验设计（sOED）框架，考虑未来实验的影响，克服批量设计与贪婪设计的局限性。
• 解决在连续、非线性、非高斯设置下，高维参数空间、设计空间与观测空间中精确动态规划的计算不可行性问题。
• 通过构建基于演化后验信念与实验结果的反馈控制策略，实现最优实验选择。
• 通过在线性高斯与非线性源反演问题上的数值验证，证明该方法在信息增益方面优于批量与贪婪设计。
• 开发一种自适应采样策略，以在状态空间中频繁访问的区域改进值函数逼近。

提出的方法

• 将sOED问题建模为有限时域动态规划问题，其中信念状态表示对模型参数的后验分布。
• 采用基于回归的逆向归纳法逼近值函数，使用线性架构表示未来期望奖励。
• 通过混合探索-利用策略生成回归训练点，根据当前策略近似结果自适应调整状态测度。
• 通过迭代策略更新改进值函数逼近，提升状态空间高概率区域的准确性。
• 采用一步前瞻策略表示，以在序列决策中平衡即时与未来的信息增益。
• 对后验密度采用自适应离散化以表示信念状态，未来工作将探索使用流形映射（transport maps）以提升可扩展性。

实验结果

研究问题

• RQ1 如何严格地将序列实验设计建模为动态规划问题，以考虑反馈与未来影响？
• RQ2 在高维、非线性、非高斯贝叶斯实验设计问题中，哪些数值方法能有效逼近最优策略？
• RQ3 所提出的基于ADP的sOED方法在信息增益方面与批量设计和贪婪设计相比表现如何？
• RQ4 通过在频繁访问的状态区域改进值函数逼近的自适应采样策略，能否提升策略准确度与收敛性？
• RQ5 在连续、非高斯设置下，维护与更新信念状态面临哪些计算与表示挑战？

主要发现

• 在非线性污染源反演问题中，所提出的sOED方法在10次实验中实现了比批量设计与贪婪设计更高的期望信息增益，期望奖励为0.71 ± 0.03。
• 在高斯线性情况下，该方法的结果与解析解高度一致，验证了其准确性和正确性。
• 即使初始探索设计测度较差（如N(−2.5, 0.1)），该算法仍通过迭代更新成功提升了策略性能。
• 采用在高概率区域改进状态测度的自适应采样策略，使得值函数逼近在高似然区域更加准确。
• 在传统批量或贪婪设计无法考虑未来实验影响的复杂非线性场景中，该方法表现出鲁棒性与可扩展性。
• 该框架与信念状态表示方式无关，可与高级推理工具（如流形映射）集成，适用于高维后验分布。