[论文解读] Stopping criterion for active learning based on deterministic generalization bounds

Hideaki Ishibashi, Hideitsu Hino|arXiv (Cornell University)|May 15, 2020

Machine Learning and Algorithms参考文献 29被引用 8

一句话总结

本文提出了一种新颖的、与任务无关的主动学习停止准则，该准则基于添加每个新训练样本后预期泛化误差变化的确定性PAC-Bayesian上界。通过将该上界与游程检验相结合，该方法在性能提升变得统计上不显著时自动终止学习，无需使用标注的测试数据，即可在停止精度上达到或超过基于测试集的方法。

ABSTRACT

Active learning is a framework in which the learning machine can select the samples to be used for training. This technique is promising, particularly when the cost of data acquisition and labeling is high. In active learning, determining the timing at which learning should be stopped is a critical issue. In this study, we propose a criterion for automatically stopping active learning. The proposed stopping criterion is based on the difference in the expected generalization errors and hypothesis testing. We derive a novel upper bound for the difference in expected generalization errors before and after obtaining a new training datum based on PAC-Bayesian theory. Unlike ordinary PAC-Bayesian bounds, though, the proposed bound is deterministic; hence, there is no uncontrollable trade-off between the confidence and tightness of the inequality. We combine the upper bound with a statistical test to derive a stopping criterion for active learning. We demonstrate the effectiveness of the proposed method via experiments with both artificial and real datasets.

研究动机与目标

• 开发一种不依赖测试数据或任务特定阈值的主动学习停止准则。
• 解决在标注成本高昂、测试数据稀缺或不可用的场景中，如何确定主动学习停止时机的挑战。
• 提供一种理论基础坚实、普适性强、计算高效且统计可靠的停止规则。
• 通过推导确定性界，消除标准随机PAC-Bayesian界中固有的置信度与紧致性之间的权衡。
• 实现在最小计算开销和无需超参数调优的前提下，自动且可靠地终止主动学习。

提出的方法

• 基于PAC-Bayesian理论，推导出添加新训练样本前后预期泛化误差差异的新型确定性上界。
• 该上界在不假设训练样本独立性的前提下构建，因此适用于一般学习场景。
• 将该上界与游程检验结合，以检测性能变化的统计显著性，从而实现自动停止。
• 仅使用训练数据评估预期泛化误差的差距，避免依赖独立的测试集。
• 以高斯过程回归为例进行实现，但该方法可推广至任意模型与损失函数。
• 当游程检验无法拒绝性能提升为随机的原假设时，即判定为收敛，从而做出停止决策。

实验结果

研究问题

• RQ1 能否开发一种不依赖标注测试数据或任务特定阈值的主动学习停止准则？
• RQ2 能否推导出一种避免标准界中置信度与紧致性权衡的确定性PAC-Bayesian界？
• RQ3 是否能够仅使用训练数据与统计检验，自动检测主动学习的收敛？
• RQ4 与交叉验证、PAC-Bayesian界及基于方差的准则等现有方法相比，所提准则在停止精度上表现如何？
• RQ5 所提方法是否在保持低计算成本的同时，实现高可靠的停止时机判断？

主要发现

• 在六个数据集中的四个（airfoil、power plant、protein、concrete）中，所提方法在停止时间（e_stop）上的平均误差最小，分别为2.38±0.58、13.52±1.05、27.89±2.34和15.83±1.28。
• 在yacht数据集中，所提方法取得16.33±1.28的误差，优于所有基线方法，仅略逊于真实停止点。
• PAC-Bayesian基线方法表现较差，常因依赖训练误差与随机界而过早或过晚停止。
• 交叉验证方法因数据分割导致可用数据减少，造成测试误差估计不准确。
• 最大方差准则虽具直观性，但被所提方法超越，后者更能准确捕捉模型随时间的偏差变化。
• 所提方法在多种数据集（包括人工与真实世界数据）上表现出强鲁棒性，停止性能稳定且一致。