[论文解读] Online Active Model Selection for Pre-trained Classifiers

Mohammad Reza Karimi, Nezihe Merve Gürel+4 more|arXiv (Cornell University)|Oct 19, 2020

Machine Learning and Algorithms参考文献 33被引用 6

一句话总结

该论文提出 Model Picker，一种在线主动模型选择算法，能够实时选择具有信息量的未标注样本进行查询，从而在最小化标注成本的前提下实现对最佳预训练分类器的高置信度识别。该方法实现了最先进性能，仅使用 ImageNet 数据集 13% 的标签，即可在 102 个模型中以 90% 的置信度选出最佳模型，其标签效率相比基线方法最高提升 2.5 倍，遗憾值降低 1.3 倍。

ABSTRACT

Given $k$ pre-trained classifiers and a stream of unlabeled data examples, how can we actively decide when to query a label so that we can distinguish the best model from the rest while making a small number of queries? Answering this question has a profound impact on a range of practical scenarios. In this work, we design an online selective sampling approach that actively selects informative examples to label and outputs the best model with high probability at any round. Our algorithm can be used for online prediction tasks for both adversarial and stochastic streams. We establish several theoretical guarantees for our algorithm and extensively demonstrate its effectiveness in our experimental studies.

研究动机与目标

• 解决在有限标注预算下从 k 个模型中选择最佳预训练分类器的挑战。
• 设计一种在线主动学习框架，实时选择具有信息量的样本进行标注，而无需存储大规模数据池。
• 在不依赖独立同分布（i.i.d.）假设的前提下，确保在随机和对抗性数据流下均具备鲁棒性能。
• 在序列化标签预测中最小化遗憾值，同时最大化识别出真实最优模型的概率。
• 实现高标签效率，使模型选择在显著少于现有方法的查询次数下仍能保持高精度。

提出的方法

• Model Picker 使用一种随机查询策略，利用假设的标签响应来估计每个输入样本在区分最优模型方面的信息量。
• 它维护一个关于模型性能的置信区间，并动态选择最可能降低模型排序不确定性的样本。
• 该算法采用类似多臂赌博机的反馈机制，以在线、序列化的方式更新模型置信度，并指导未来的查询决策。
• 其方法具备对抗性数据流下的理论保证，证明了无遗憾性能，且与全标签访问算法的最佳已知界相匹配。
• 该方法设计具有可扩展性，适用于流式和非平稳数据分布（包括概念漂移）场景。
• 通过引入重要性加权和置信度校准，确保模型识别过程的统计一致性和鲁棒性。

实验结果

研究问题

• RQ1 在线主动模型选择算法是否能在无法访问完整标签的情况下，实现序列化标签预测中的低遗憾？
• RQ2 如何在在线流式环境中，仅通过极少的标注查询，高效识别出 k 个模型中的最佳预训练模型？
• RQ3 该算法在对抗性数据流下，能在多大程度上保持对模型选择的高置信度？
• RQ4 Model Picker 在不同数据集上的标签效率与现有主动学习和模型选择基线相比如何？
• RQ5 Model Picker 要以高概率识别出真实最优模型，所需的最小标注预算是多少？

主要发现

• 在 ImageNet 数据集上，Model Picker 仅使用 13% 的标注样本，即可以 90% 的置信度从 102 个预训练模型中选出最佳模型。
• 在相同准确率目标下，Model Picker 所需标签数量相比竞争方法（包括熵方法和高效（Label-Efficient Prediction）方法）最多减少 2.5 倍。
• 在 Drift 数据集上，Model Picker 在仅标注 11% 的数据流后，模型准确率已与最佳模型相差不足 0.1%，而最佳基线方法则需标注 24% 的数据。
• 与最佳基线相比，Model Picker 将标注成本最多降低 2.6 倍，在 EmoContext 数据集上以 1.7 倍更少的查询次数达到 97% 的置信度，成功识别出真实最优模型。
• 在所有实现的第 90 百分位数中，Model Picker 在仅标注 Drift 数据集流 8% 的样本后，即可返回与最佳模型准确率相差 0.1% 以内的模型。
• 在所有数据集上，Model Picker 的遗憾值相比基线最高降低 1.3 倍，展现出在序列化预测任务中的强大性能。