[论文解读] Practical optimal experiment design with probabilistic programs

Long Ouyang, Michael Tessler+2 more|arXiv (Cornell University)|Aug 17, 2016

Evolutionary Algorithms and Applications参考文献 7被引用 10

一句话总结

本文提出了一种基于概率编程语言（PPL）的实用最优实验设计（OED）框架，使科学家能够自动识别可最大化期望信息增益的实验。通过在PPL中编码模型和实验空间，系统无需手动搜索或自定义推断代码即可计算最优实验，在认知心理学案例研究中表明，与人工设计的实验相比，OED可使实验信息量提高五倍，同时显著降低参与者的成本。

ABSTRACT

Scientists often run experiments to distinguish competing theories. This requires patience, rigor, and ingenuity - there is often a large space of possible experiments one could run. But we need not comb this space by hand - if we represent our theories as formal models and explicitly declare the space of experiments, we can automate the search for good experiments, looking for those with high expected information gain. Here, we present a general and principled approach to experiment design based on probabilistic programming languages (PPLs). PPLs offer a clean separation between declaring problems and solving them, which means that the scientist can automate experiment design by simply declaring her model and experiment spaces in the PPL without having to worry about the details of calculating information gain. We demonstrate our system in two case studies drawn from cognitive psychology, where we use it to design optimal experiments in the domains of sequence prediction and categorization. We find strong empirical validation that our automatically designed experiments were indeed optimal. We conclude by discussing a number of interesting questions for future research.

研究动机与目标

• 自动化搜索可最大程度更新关于竞争科学模型信念的实验。
• 克服现有OED系统中需要自定义效用函数和推断算法所带来的高门槛。
• 证明期望信息增益在真实实验环境中可靠预测实际信息增益。
• 表明OED可在降低实验成本的同时提高信息量，尤其适用于噪声较大的人类认知研究。
• 提供一种通用、可扩展且用户友好的OED系统，补充而非取代科学直觉。

提出的方法

• 将科学理论和实验空间表示为PPL中的概率程序，实现无需低级实现细节的声明式规范。
• 利用PPL的推断引擎计算所有可能实验的期望信息增益，自动识别最优实验。
• 将OED问题形式化为模型后验分布的推断，目标是最大化先验与后验模型分布之间的期望Kullback-Leibler散度。
• 利用PPL对任意链接函数的支持，建模从模型输出到可观察实验响应的映射。
• 将该框架应用于真实认知心理学问题，包括序列预测和类别学习，结合经验验证的模型比较。
• 通过与人类参与者进行的受控实验验证期望信息增益的预测，比较不同实验设计的实际信息增益。

实验结果

研究问题

• RQ1 是否可以使用概率编程语言在无需自定义推断或效用函数的情况下自动化最优实验设计？
• RQ2 在人类认知实验中，期望信息增益是否是实际信息增益的可靠预测指标？
• RQ3 在真实世界环境中，OED识别的实验比人工设计的实验信息量高出多少？
• RQ4 在参与者人数与信息增益之间，OED的成本-收益权衡如何？
• RQ5 OED能否有效应用于具有噪声且非独立同分布响应的复杂真实心理模型？

主要发现

• 系统识别出的最优实验仅用10名参与者即达到0.15的平均实际信息增益，优于人工设计的MS实验，后者需30名参与者才能达到相同水平。
• 对于单名参与者，最优实验的实际信息增益（0.15）是MS实验（0.026）的5.8倍，超过期望信息增益预测的2.5倍。
• 最优实验在10名参与者时即达到最大信息增益，而MS实验约需30名参与者，表明样本量需求降低三倍。
• 期望信息增益被证实是实际信息增益的强预测指标，验证了其在实验选择中作为可靠代理的有效性。
• 该框架成功扩展至真实心理模型，而不仅限于简单示例，包括一个包含两个竞争模型的经典类别学习研究。
• 系统实现了完全自动化的实验设计，无需手动调参或自定义推断代码，显著降低了OED的使用门槛。