[论文解读] Stopping Criterion for Active Learning Based on Error Stability

Hideaki Ishibashi, Hideitsu Hino|arXiv (Cornell University)|Apr 5, 2021

Machine Learning and Algorithms参考文献 47被引用 8

一句话总结

本文提出了一种基于误差稳定性的主动学习停止准则，该准则利用PAC-Bayesian框架，对添加新样本后泛化误差的变化进行上界约束。该方法确保在进一步标注带来的性能提升可忽略时停止学习，且适用于任何贝叶斯主动学习模型，并在多个模型和数据集上进行了实证验证。

ABSTRACT

Active learning is a framework for supervised learning to improve the predictive performance by adaptively annotating a small number of samples. To realize efficient active learning, both an acquisition function that determines the next datum and a stopping criterion that determines when to stop learning should be considered. In this study, we propose a stopping criterion based on error stability, which guarantees that the change in generalization error upon adding a new sample is bounded by the annotation cost and can be applied to any Bayesian active learning. We demonstrate that the proposed criterion stops active learning at the appropriate timing for various learning models and real datasets.

研究动机与目标

• 解决主动学习中缺乏可泛化的停止准则的问题，以平衡标注成本与预测性能。
• 开发一种动态停止准则，以确定何时进一步标注在泛化误差上的收益已趋于递减。
• 确保该准则可普遍适用于多种贝叶斯主动学习模型，而无需针对特定数据集进行调优。
• 提供理论基础坚实且可扩展的方法，通过将误差变化相对于误差范围进行归一化，实现一致的停止时机。

提出的方法

• 该方法基于PAC-Bayesian框架推导出泛化误差变化的上界，该框架不假设样本独立，因此适用于主动学习。
• 通过将期望泛化误差差值的上界相对于误差范围进行归一化，实现与数据集规模无关的基于阈值的停止机制。
• 该准则被设计为保证泛化误差的变化小于预设阈值，从而确保稳定性并防止对新样本的过拟合。
• 对于贝叶斯模型，该方法计算在添加新样本前后后验分布之间的KL散度，并为高斯过程和基于Dropout的深度学习模型推导出解析表达式。
• 该方法通过鞅框架进行解释，为在误差稳定性达到时停止提供了理论依据。
• 该方法在四种模型中实现：贝叶斯线性回归、逻辑回归、高斯过程回归以及基于Dropout的贝叶斯深度学习。

实验结果

研究问题

• RQ1 能否开发一种停止准则，使其在进一步标注带来的泛化误差改进可忽略时动态停止主动学习？
• RQ2 在不依赖固定预算的前提下，如何在主动学习中定量平衡标注成本与模型性能？
• RQ3 是否可以基于误差稳定性，推导出一种通用的、与模型无关的停止准则，适用于任何贝叶斯主动学习算法？
• RQ4 所提出的泛化误差变化的上界能否在理论上得到证明，并在后验分布趋于稳定时显示收敛？
• RQ5 当使用相同阈值时，该准则是否能在不同数据集上实现一致的停止时机？

主要发现

• 所提出的停止准则在多种贝叶斯模型中（包括贝叶斯线性回归、逻辑回归、高斯过程回归以及基于Dropout的贝叶斯深度学习）均能有效在适当时间点停止主动学习。
• 停止阈值与实际泛化误差之间表现出高度相关性，确保进一步标注不会带来显著的性能提升。
• 泛化误差变化的上界被证明在后验分布收敛时趋于零，验证了其理论合理性。
• 为高斯过程和深度贝叶斯学习模型推导出了后验KL散度的解析表达式，从而实现了高效的计算。
• 由于将误差变化相对于误差范围进行了归一化，该准则在使用相同阈值时，可在不同数据集上实现一致的停止时机。
• 实证结果表明，与固定预算基线相比，所提出的准则能有效避免过拟合并减少不必要的标注成本。