[论文解读] Optimal Weak to Strong Learning

Kasper Green Larsen, Martin Ritzert|arXiv (Cornell University)|Jun 3, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种新的弱到强学习算法，通过消除AdaBoost中存在的两个对数因子，实现了最优的样本复杂度，将所需训练数据减少到理论最小值。该方法采用子采样与基于边距的投票机制，并通过匹配的下界证明了其在VC维$d$和优势$γ$满足$2^{-d} < γ < 1/80$的场景下的最优性。该结果解决了弱到强学习中样本复杂度精确值的长期悬而未决问题。

ABSTRACT

The classic algorithm AdaBoost allows to convert a weak learner, that is an algorithm that produces a hypothesis which is slightly better than chance, into a strong learner, achieving arbitrarily high accuracy when given enough training data. We present a new algorithm that constructs a strong learner from a weak learner but uses less training data than AdaBoost and all other weak to strong learners to achieve the same generalization bounds. A sample complexity lower bound shows that our new algorithm uses the minimum possible amount of training data and is thus optimal. Hence, this work settles the sample complexity of the classic problem of constructing a strong learner from a weak learner.

研究动机与目标

• 解决长期悬而未决的开放问题：确定将弱学习器转换为强学习器所需的精确样本复杂度。
• 设计一种学习算法，实现达到给定泛化误差和置信水平所需最少的训练样本数。
• 建立一个与所提算法上界匹配的紧致下界，证明其最优性。
• 通过消除对$ε$、$γ$和$d$依赖中的两个对数因子，改进AdaBoost的样本复杂度。
• 利用新颖的信息论方法分析具有大边距的投票分类器的泛化性能。

提出的方法

• 该算法通过从训练数据中生成$m^{0.79}$个线性大小的子样本，每个子样本用于训练一个弱学习器，从而构建强学习器。
• 在每个子样本上应用AdaBoost$_ν^*$的修改版本，生成具有大边距的一组假设。
• 最终假设通过所有子样本预测结果的多数投票形成，利用基于边距的泛化边界。
• 分析中使用Littlewood-Offord引理来界定在假设性能条件下的概念类熵，从而实现更紧致的泛化边界。
• 提出一种新颖的信息论论证，结合熵与条件熵，推导出泛化性能较差的概率下界，从而得出样本复杂度的下界。
• 该方法证明，任何弱到强学习算法都必须使用$\Omega\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$个样本，与所提算法的上界完全匹配。

实验结果

研究问题

• RQ1 将一个$\gamma$-弱学习器转换为误差为$\varepsilon$且置信度为$1-\delta$的强学习器，所需的精确样本复杂度是多少？
• RQ2 能否通过消除对$d$、$\varepsilon$和$\gamma$依赖中的对数因子来改进AdaBoost的样本复杂度？
• RQ3 是否存在一个匹配的下界，以证明所提算法样本复杂度的最优性？
• RQ4 子采样策略能否被优化，以减少在大规模数据集上对弱学习器的调用次数？
• RQ5 是否必须采用多数投票的多数投票机制才能实现最优泛化性能，还是更简单的投票规则也能达到相同的边界？

主要发现

• 所提算法实现了$O\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$的样本复杂度，相比AdaBoost的边界消除了两个对数因子。
• 证明了匹配的下界$\Omega\left(\frac{d}{\varepsilon\gamma^2} + \frac{\ln(1/\delta)}{\varepsilon}\right)$，表明该算法在常数因子范围内达到最优。
• 分析建立了针对具有大边距的投票分类器的新泛化边界，其紧致性优于现有对常数误差的$k$-阶边距边界。
• 在信息论论证中使用Littlewood-Offord引理，能够对泛化性能较差的概率施加精确边界，这对下界证明至关重要。
• 该结果在实可实现情况下，将弱到强学习的样本复杂度确定到常数因子范围内，条件为$\gamma > 2^{-d}$。
• 本文指出，当$\gamma < 2^{-d}$时，当前的下界不再适用，暗示对$\gamma$的依赖关系可能存在更优形式，这与近期关于VC维增长的成果提示一致。