[论文解读] Plug-in Approach to Active Learning

Stanislav Minsker|arXiv (Cornell University)|Apr 7, 2011

Machine Learning and Algorithms参考文献 8被引用 7

一句话总结

本文提出了一种即插即用的主动学习算法，利用非参数回归估计器，在Tsybakov的低噪声假设下实现了泛化误差的近最优收敛速率。该方法自适应地选择信息丰富的样本，在广泛的分布类别中实现了接近极小化下界的收敛速率，即使在平滑度和噪声参数未知的情况下亦成立。

ABSTRACT

We present a new active learning algorithm based on nonparametric estimators of the regression function. Our investigation provides probabilistic bounds for the rates of convergence of the generalization error achievable by proposed method over a broad class of underlying distributions. We also prove minimax lower bounds which show that the obtained rates are almost tight.

研究动机与目标

• 开发一种主动学习算法，实现在二分类任务中泛化误差的快速收敛速率。
• 通过关注回归函数不确定性较高的区域，解决标签复杂度的挑战。
• 设计一种方法，自适应于未知的平滑度（β）和噪声（γ）参数，而无需先验知识。
• 建立极小化下界，并证明所提出的算法几乎达到这些理论极限。
• 将非参数回归估计器在被动学习中成功应用至主动学习设置，实现对分类器的即插即用扩展。

提出的方法

• 该算法使用局部多项式估计器对回归函数 η(x) = E[Y|X = x] 进行非参数估计。
• 基于 |η(x)| 接近零的区域选择样本，表明分类不确定性较高。
• 采样分布 ˆΠk 被设计为集中于真实标签模糊的区域，依据估计回归函数周围的置信带。
• 采用模型选择程序自适应地选择最优带宽或分辨率层级，使用数据依赖的惩罚项。
• 该方法利用集中不等式和经验过程理论控制估计误差与额外风险。
• 理论分析结合了经验过程理论与几何概率工具，以标签复杂度 N 表示额外风险的上界。

实验结果

研究问题

• RQ1 即插即用主动学习算法是否能在未知平滑度 β 和噪声参数 γ 的情况下，实现泛化误差的近最优收敛速率？
• RQ2 在Tsybakov的低噪声假设下，主动学习中额外风险的极小化下界是什么？
• RQ3 标签复杂度 N 如何影响主动学习中泛化误差的收敛速率，相较于被动学习？
• RQ4 所提出的算法是否能在不依赖 β 和 γ 知识的情况下，自适应地保持最优或近最优收敛速率？
• RQ5 非参数回归估计器在主动学习中能在多大程度上有效减少标签需求？

主要发现

• 所提出的主动学习算法在期望额外风险上实现了 (N / log N)^{-β(1+γ)/(2β+γ(d−1))} 阶的上界，接近最优。
• 推导出主动学习中额外风险的极小化下界，表明在给定假设下，所提速率几乎紧致。
• 该算法自适应于未知的平滑度 β 和噪声参数 γ，无需这些参数的先验知识，即可实现近最优收敛速率。
• 在主动学习下，收敛速率显著快于被动学习，当 γ > 0 时，额外风险相对于标签复杂度呈指数衰减。
• 分析证实，即插即用方法——使用 sign(η̂) 作为分类器——可成功扩展至使用非参数回归估计器的主动学习设置。
• 通过集中不等式与二进制划分上的几何论证，建立了理论保证，表明该方法能有效聚焦于高不确定性区域。