[论文解读] Prediction-Oriented Bayesian Active Learning

Freddie Bickford Smith, Andreas Kirsch+4 more|arXiv (Cornell University)|Apr 17, 2023

Machine Learning and Algorithms被引用 7

一句话总结

EPIG，一种聚焦预测的获取函数，通过衡量预测的信息增益而非模型参数的信息增益，超越BALD，在多个数据集和模型上提升了预测性能。

ABSTRACT

Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered about the model parameters, most commonly by optimising the BALD score. We highlight that this can be suboptimal from the perspective of predictive performance. For example, BALD lacks a notion of an input distribution and so is prone to prioritise data of limited relevance. To address this we propose the expected predictive information gain (EPIG), an acquisition function that measures information gain in the space of predictions rather than parameters. We find that using EPIG leads to stronger predictive performance compared with BALD across a range of datasets and models, and thus provides an appealing drop-in replacement.

研究动机与目标

• 以预测性能为目标驱动主动学习，而非参数不确定性。
• 引入EPIG，一种最大化期望预测信息增益的获取函数。
• 展示EPIG在基于池的主动学习中作为BALD的实际可替换方案。

提出的方法

• 从贝叶斯实验设计出发推导EPIG，作为关于预测而非参数的信息增益的期望值。
• 定义目标输入分布 p*(x*)，并将EPIG推导为在来自 p*(x*) 的样本上预测不确定性的期望减少。
• 等价地将EPIG表达为互信息 I((x*, y*); y | x) 以及预测联合分布与乘积分布之间的KL散度。
• 提供基于 p*(x*) 的样本和模型后验代理的MC估计器用于EPIG。
• 在 p*(x*) 未知或仅有池数据可用时，描述实际的 x* 采样策略。
• 在包含具有非闭式预测分布的分类场景中，概述EPIG的估计方案。

实验结果

研究问题

• RQ1 当目标是对未见输入的预测准确性时，EPIG是否比BALD带来更好的预测性能？
• RQ2 在合成数据、UCI数据集和类似MNIST的视觉任务中，EPIG相对于BALD的表现如何？
• RQ3 在实践中应如何选择或逼近目标输入分布 p*(x*)？
• RQ4 在对下游目标分布知识有限且标注受限时，EPIG对鲁棒性如何？

主要发现

• EPIG在多数据集和模型上通常优于BALD，提升预测性能。
• 当样本池中存在大量相对于目标分布不相关的输入时，EPIG尤为有利。
• 即使对目标输入分布的获取有限或不可用，EPIG仍然具有竞争力甚至优于BALD，显示出鲁棒性。
• BALD 可能在池子边界选择不相关的输入，而EPIG更集中在预测相关性较高的区域。
• 在合成数据、UCI数据集和MNIST变体上的实验显示EPIG作为直接替代BALD的优势。