[论文解读] Revisiting Perceptron: Efficient and Label-Optimal Learning of Halfspaces

Songbai Yan, Chicheng Zhang|arXiv (Cornell University)|Feb 18, 2017

Machine Learning and Algorithms参考文献 31被引用 8

一句话总结

本文提出了一种高效的主动学习算法 Active-Perceptron，用于在单位球面上的均匀分布下学习齐次半空间。在 η-有界噪声下，其标签复杂度达到近似最优的 $\tilde{O}\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$，在对抗性噪声下达到 $\tilde{O}\left(d\ln\frac{1}{\epsilon}\right)$，运行时间 $\tilde{O}\left(\frac{d^2}{(1-2\eta)^3\epsilon}\right)$，解决了关于计算高效、标签最优半空间学习的开放问题。

ABSTRACT

It has been a long-standing problem to efficiently learn a halfspace using as few labels as possible in the presence of noise. In this work, we propose an efficient Perceptron-based algorithm for actively learning homogeneous halfspaces under the uniform distribution over the unit sphere. Under the bounded noise condition~\cite{MN06}, where each label is flipped with probability at most $η< \frac 1 2$, our algorithm achieves a near-optimal label complexity of $ ilde{O}\left(\frac{d}{(1-2η)^2}\ln\frac{1}ε ight)$ in time $ ilde{O}\left(\frac{d^2}{ε(1-2η)^3} ight)$. Under the adversarial noise condition~\cite{ABL14, KLS09, KKMS08}, where at most a $ ilde Ω(ε)$ fraction of labels can be flipped, our algorithm achieves a near-optimal label complexity of $ ilde{O}\left(d\ln\frac{1}ε ight)$ in time $ ilde{O}\left(\frac{d^2}ε ight)$. Furthermore, we show that our active learning algorithm can be converted to an efficient passive learning algorithm that has near-optimal sample complexities with respect to $ε$ and $d$.

研究动机与目标

• 解决在噪声条件下设计计算高效、标签查询最少的主动学习算法以学习半空间的开放问题。
• 弥合计算高效算法与标签复杂度最优性在噪声半空间学习中的差距。
• 在两种标准噪声模型下实现近似最优的标签复杂度：有界噪声（Massart）和对抗性噪声。
• 证明所提出的主动学习算法可转化为具有近似最优样本复杂度的高效被动学习算法。

提出的方法

• 提出一种基于经典感知机但增强主动采样与噪声容忍机制的主动学习算法 Active-Perceptron。
• 采用一种新颖的主动采样策略，根据不确定性和间隔选择样本，以最小化标签查询次数。
• 采用改进的感知机更新规则，通过聚焦于一致预测和置信度阈值来应对标签噪声。
• 引入基于信息论界和 KL 散度的理论分析框架，推导出标签复杂度的下界。
• 应用假设检验中的约化技术，证明在有界噪声下标签复杂度的信息论下界。
• 通过使用固定查询集模拟主动选择过程，将主动学习算法转换为被动学习变体，同时保持样本复杂度。

实验结果

研究问题

• RQ1 能否修改基于感知机的算法，在保持计算高效的同时，实现有界噪声下的近似最优标签复杂度？
• RQ2 能否使用具有多项式运行时间的主动学习方法，在对抗性噪声下实现近似最优的标签复杂度？
• RQ3 在有界噪声下学习半空间的标签复杂度是否存在信息论下界？能否被实际算法达到？
• RQ4 能否将半空间的主动学习算法转化为具有可比样本复杂度的高效被动学习算法？

主要发现

• Active-Perceptron 算法在 η-有界噪声下实现了 $\tilde{O}\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$ 的标签复杂度，接近最优。
• 该算法运行时间为 $\tilde{O}\left(\frac{d^2}{(1-2\eta)^3\epsilon}\right)$，显著优于先前工作中对 $\frac{1}{(1-2\eta)^4}$ 的指数依赖。
• 在对抗性噪声下，算法实现了 $\tilde{O}\left(d\ln\frac{1}{\epsilon}\right)$ 的标签复杂度和 $\tilde{O}\left(\frac{d^2}{\epsilon}\right)$ 的运行时间，两者均为近似最优。
• 建立了信息论下界 $\Omega\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$，表明该标签复杂度几乎紧致。
• 该算法的主动学习框架可被转换为被动学习算法，其样本复杂度在 d 和 ε 方面均接近最优。
• 理论分析证实，所提出的算法解决了在噪声下实现计算效率与标签最优性兼具的半空间学习的开放问题。