[论文解读] Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes

Xueying Zhan, Qing Li+1 more|arXiv (Cornell University)|Jul 4, 2021

Machine Learning and Algorithms参考文献 41被引用 5

一句话总结

本文提出了一种多准则主动学习方法，通过固定大小的行列式点过程（k-DPP）整合了信息性、代表性与多样性。该方法利用分类器委员会评估样本难度，采用k-center聚类实现代表性，并通过DPP实现批量选择，从而在多种数据类型和数据不平衡场景下均展现出优越且稳定的性能，优于现有的多准则方法。

ABSTRACT

Active learning aims to achieve greater accuracy with less training data by selecting the most useful data samples from which it learns. Single-criterion based methods (i.e., informativeness and representativeness based methods) are simple and efficient; however, they lack adaptability to different real-world scenarios. In this paper, we introduce a multiple-criteria based active learning algorithm, which incorporates three complementary criteria, i.e., informativeness, representativeness and diversity, to make appropriate selections in the active learning rounds under different data types. We consider the selection process as a Determinantal Point Process, which good balance among these criteria. We refine the query selection strategy by both selecting the hardest unlabeled data sample and biasing towards the classifiers that are more suitable for the current data distribution. In addition, we also consider the dependencies and relationships between these data points in data selection by means of centroidbased clustering approaches. Through evaluations on synthetic and real-world datasets, we show that our method performs significantly better and is more stable than other multiple-criteria based AL algorithms.

研究动机与目标

• 解决单一准则主动学习方法在面对不同数据分布和现实场景时缺乏适应性的问题。
• 通过联合优化信息性、代表性和多样性三种互补准则，提升主动学习性能。
• 设计一种鲁棒的查询选择策略，通过分类器加权和难样本优先机制，动态适应数据分布变化。
• 利用k-center聚类与固定大小的DPP，确保在数据不平衡设置下实现均衡且多样化的批量选择。
• 在不同标注预算下，于合成数据集和真实世界数据集上展示所提方法的一致优越性与稳定性。

提出的方法

• 通过加权分类器委员会定义信息性，其中分类器权重根据其与当前数据分布的一致性动态调整。
• 通过委员会内部的分歧程度定义样本难度，共识度较低的样本获得更高的信息性得分，表明其不确定性更高。
• 使用k-center聚类识别代表性数据点，通过最大化与已选样本的最小距离，确保对未标记数据池的充分覆盖。
• 将信息性、代表性和多样性三种准则整合进固定大小的行列式点过程（k-DPP）中，以建模高质量、多样化且具代表性的批量选择的联合概率。
• 将选择过程建模为DPP，其中核矩阵编码了信息性得分，并通过特征向量的正交性与模长体现几何多样性。
• 采用AUBC（预算曲线下面积）指标评估在逐步增加标注预算下的整体性能。

实验结果

研究问题

• RQ1 如何在主动学习中有效平衡信息性、代表性和多样性等多准则，以提升模型性能与稳定性？
• RQ2 分类器委员会在多大程度上能动态适应数据分布变化，以改善信息性估计？
• RQ3 k-center聚类是否能在非均匀或聚类分布的数据中增强主动学习的代表性？
• RQ4 所提出的基于k-DPP的选择策略如何在批量模式下同时保持多样性与高质量、高信息性的样本？
• RQ5 在数据不平衡情况下，该方法表现如何？能否在选择过程中自动校正类别分布偏移？

主要发现

• 所提方法在合成数据集和真实世界数据集上均显著优于基线多准则主动学习方法，性能更优且更稳定。
• 在GCloud Unbalance数据集上，该方法维持了约1.5:1的正类对负类（PN）比例，而其他方法的比率显著更高，表明其对类别不平衡具有有效处理能力。
• 模型动态调整分类器权重，对线性可分数据更倾向于赋予线性模型（如LR、SVM-Linear）更高专家权重，对复杂数据则更依赖非线性模型，从而提升适应性。
• 代表性得分在整个主动学习过程中始终高于0.5，表明该方法优先选择代表性样本，同时信息性与多样性也保持良好平衡。
• k-DPP公式支持高效的批量选择，能同时最大化样本质量与多样性，高分样本具有更强的特征向量正交性与更大的模长。
• AUBC评估结果表明，该方法在标注预算逐步增加的条件下，持续优于基线方法，在学习效率与最终模型准确率方面表现更优。