[论文解读] Refined Error Bounds for Several Learning Algorithms

Steve Hanneke|arXiv (Cornell University)|Dec 22, 2015

Machine Learning and Algorithms参考文献 47被引用 3

一句话总结

本文通过一种基于单调误差区域与VC维或样本压缩大小的新技术，消除了或减少了多种学习算法泛化保证中的对数因子，从而改进了误差界。该方法在可实现情形下，为样本一致分类器、主动学习（CAL）以及在Tsybakov噪声条件下的噪声分类问题建立了更紧致的误差界，在关键设置中实现了最优率（常数因子内）。

ABSTRACT

This article studies the achievable guarantees on the error rates of certain learning algorithms, with particular focus on refining logarithmic factors. Many of the results are based on a general technique for obtaining bounds on the error rates of sample-consistent classifiers with monotonic error regions, in the realizable case. We prove bounds of this type expressed in terms of either the VC dimension or the sample compression size. This general technique also enables us to derive several new bounds on the error rates of general sample-consistent learning algorithms, as well as refined bounds on the label complexity of the CAL active learning algorithm. Additionally, we establish a simple necessary and sufficient condition for the existence of a distribution-free bound on the error rates of all sample-consistent learning rules, converging at a rate inversely proportional to the sample size. We also study learning in the presence of classification noise, deriving a new excess error rate guarantee for general VC classes under Tsybakov's noise condition, and establishing a simple and general necessary and sufficient condition for the minimax excess risk under bounded noise to converge at a rate inversely proportional to the sample size.

研究动机与目标

• 为样本一致学习算法的泛化误差界中的对数因子差距提供填补。
• 对CAL主动学习算法的标签复杂度分析进行精细化。
• 建立在分布无关情形下误差率收敛至$O(1/m)$的必要与充分条件。
• 在Tsybakov噪声条件下，为VC类推导新的过量风险界。
• 刻画有界噪声下极小化最大过量风险的收敛性。

提出的方法

• 提出一种通用技术，用于在可实现情形下，对具有单调误差区域的样本一致分类器的误差率进行界控。
• 该方法以VC维$d$或样本压缩大小表达界，结合几何与概率论证。
• 采用递归分析方法，通过定义嵌套集合$\mathcal{G}_k$与事件$E_k$，控制多尺度下的误差累积。
• 该方法引入$(a,\alpha)$-Bernstein条件及函数$\hat{\varphi}_{a,\alpha}(r)$，以建模噪声行为。
• 在 dyadic 尺度上应用浓度不等式与并集界，以控制失败概率。
• 分析结合VC熵与度量熵论证，以界控误差区域的覆盖数。

实验结果

研究问题

• RQ1 对于某些分类器类别，能否消除经验风险最小化泛化界中的对数因子差距？
• RQ2 在可实现条件下，CAL主动学习算法的精确标签复杂度为何？
• RQ3 在极小化意义下，学习规则的过量风险以$O(1/m)$速率收敛的条件是什么？
• RQ4 在Tsybakov噪声条件下，VC类的误差界如何进一步精细化？
• RQ5 分布无关误差率界以$O(1/m)$速率收敛的必要与充分条件是什么？

主要发现

• 本文建立了分布无关的误差率界，其收敛速率恰为$O(1/m)$，当且仅当概念空间满足某一特定条件。
• 对于样本一致学习规则，当VC维有限时，可从误差界中完全消除对数因子，实现常数因子内的最优率。
• CAL主动学习算法的标签复杂度得到精细化，表明在可实现条件下收敛性更优。
• 在Tsybakov噪声条件下，本文推导出新的过量误差率保证，其对噪声参数$\alpha$的依赖性更优。
• 在有界噪声下，建立了极小化最大过量风险以$O(1/m)$速率收敛的必要与充分条件。
• 最终的过量误差界为$O\left(\left(\frac{d \log \hat{\varphi}_{a,\alpha}(a (ad/m)^{\alpha/(2-\alpha)}) + \log(1/\delta)}{m}\right)^{1/(2-\alpha)}\right)$，其与已知最优率在常数因子内一致。