[论文解读] Near-Optimal Bayesian Active Learning with Noisy Observations

Daniel Golovin, Andreas Krause+1 more|arXiv (Cornell University)|Oct 15, 2010

Machine Learning and Algorithms参考文献 23被引用 105

一句话总结

该论文提出 EC²，一种新颖的贪心主动学习算法，用于在存在噪声观测的情况下进行贝叶斯实验设计，通过利用自适应子模性，其性能在理论上可与最优策略相媲美。即使在测试之间存在相关性且成本非均匀的情况下，该算法仍能实现近似最优性能，在合成实验与人类被试实验中均优于 GBS、信息增益和信息价值启发式方法。

ABSTRACT

We tackle the fundamental problem of Bayesian active learning with noise, where we need to adaptively select from a number of expensive tests in order to identify an unknown hypothesis sampled from a known prior distribution. In the case of noise-free observations, a greedy algorithm called generalized binary search (GBS) is known to perform near-optimally. We show that if the observations are noisy, perhaps surprisingly, GBS can perform very poorly. We develop EC2, a novel, greedy active learning algorithm and prove that it is competitive with the optimal policy, thus obtaining the first competitiveness guarantees for Bayesian active learning with noisy observations. Our bounds rely on a recently discovered diminishing returns property called adaptive submodularity, generalizing the classical notion of submodular set functions to adaptive policies. Our results hold even if the tests have non-uniform cost and their noise is correlated. We also propose EffECXtive, a particularly fast approximation of EC2, and evaluate it on a Bayesian experimental design problem involving human subjects, intended to tease apart competing economic theories of how people make decisions under uncertainty.

研究动机与目标

• 为解决在存在噪声观测时贝叶斯主动学习缺乏理论保证的问题，现有启发式方法如 GBS 在此情境下表现不佳。
• 将等价类判定问题形式化为一种框架，以将噪声观测问题转化为无噪声问题。
• 开发一种贪心算法 EC²，即使在测试成本非均匀且噪声存在相关性的情况下，其在期望成本方面仍可与最优策略相媲美。
• 提出 EffECXtive，作为 EC² 的快速近似算法，适用于现实世界实验设计中的实际部署。
• 在人类被试研究中评估该方法，以对竞争性经济理论下的决策行为进行分类。

提出的方法

• EC² 通过优化一个专为区分假设等价类而设计的目标函数，贪心地选择测试，从而确保期望成本接近最小化。
• 该方法依赖于自适应子模性——一种自适应策略的递减回报性质——以证明其与最优策略的竞争力。
• 通过建模测试结果与假设之间的联合分布，该算法能够处理非均匀的测试成本和相关的噪声。
• EffECXtive 通过使用计算高效的近似目标函数来近似 EC²，同时保持强大的理论与实证性能。
• 该框架可推广至超越条件独立性假设的场景，支持灵活的概率模型并实现高效的推理。
• 该方法在涉及人类被试的贝叶斯实验设计任务中进行了评估，以区分不同经济决策理论。

实验结果

研究问题

• RQ1 贪心主动学习算法是否能在存在噪声观测的贝叶斯主动学习中实现近似最优性能？
• RQ2 广义二分搜索（GBS）在存在噪声观测时为何会失效？是否存在一种新准则可克服此问题？
• RQ3 基于等价类区分的目标函数是否能在存在噪声、相关性和高成本测试的情况下，产生理论上的竞争力策略？
• RQ4 EC² 及其近似算法 EffECXtive 是否能在现实世界实验设计中优于标准启发式方法（如信息增益和信息价值）？
• RQ5 使用 EffECXtive 进行动态实时实验设计，是否能以高准确率对人类被试根据经济决策理论进行分类？

主要发现

• EC² 是首个在存在噪声观测、非均匀成本和相关噪声的情况下，为贝叶斯主动学习提供理论竞争力保证的算法。
• GBS、信息增益和信息价值启发式方法在噪声环境中表现显著劣于随机选择，凸显了其脆弱性。
• EffECXtive 在固定参数和参数不确定性设置下，均优于信息增益和随机选择，在人类被试分类中达到 70% 的成功率。
• 在人类被试实验中，11 名被试中有 7 名最符合期望值（EV）理论，2 名被归类为前景理论，1 名为 CRRA，揭示了行为异质性。
• 该算法在实时实验设计中减少了所需测试数量，实现了以更少观测值高效分类决策类型。
• 结果验证了自适应子模性即使在放松条件独立性假设等前提下，仍能提供强大的理论边界与实际性能。