[论文解读] The Rate of Convergence of AdaBoost

Indraneel Mukherjee, Cynthia Rudin+1 more|arXiv (Cornell University)|Jun 29, 2011

Machine Learning and Algorithms参考文献 9被引用 5

一句话总结

该论文首次在不依赖弱学习假设或指数损失有限极小值点的前提下，建立了AdaBoost的收敛速率分析。证明了AdaBoost可在B和1/ε的多项式时间内，使指数损失值与任意ℓ₁-范数有界的参数向量的损失值相差不超过ε；在C/ε轮迭代内，可达到全局最小指数损失的ε-最优解，且该收敛速率在常数因子意义下为最优。

ABSTRACT

The AdaBoost algorithm was designed to combine many "weak" hypotheses that perform slightly better than random guessing into a "strong" hypothesis that has very low error. We study the rate at which AdaBoost iteratively converges to the minimum of the "exponential loss." Unlike previous work, our proofs do not require a weak-learning assumption, nor do they require that minimizers of the exponential loss are finite. Our first result shows that at iteration $t$, the exponential loss of AdaBoost's computed parameter vector will be at most $ε$ more than that of any parameter vector of $\ell_1$-norm bounded by $B$ in a number of rounds that is at most a polynomial in $B$ and $1/ε$. We also provide lower bounds showing that a polynomial dependence on these parameters is necessary. Our second result is that within $C/ε$ iterations, AdaBoost achieves a value of the exponential loss that is at most $ε$ more than the best possible value, where $C$ depends on the dataset. We show that this dependence of the rate on $ε$ is optimal up to constant factors, i.e., at least $Ω(1/ε)$ rounds are necessary to achieve within $ε$ of the optimal exponential loss.

研究动机与目标

• 在不假设弱学习或有限极小值点等简化条件的前提下，分析AdaBoost的收敛速率。
• 解决Schapire（2010）关于AdaBoost在B和1/ε上多项式收敛速率至最小指数损失的猜想。
• 建立实现指数损失ε-最优性所需迭代次数的上下界。
• 通过将训练集分解为有限间隔样本与零损失样本，刻画其结构，以实现更紧密的分析。

提出的方法

• 提出一个分解引理，根据其对指数损失的贡献，将训练样本划分为有限间隔集与零损失集。
• 利用Hahn-Banach分离定理，证明存在一组非负线性组合的间隔，其和为零，从而实现对最大间隔的控制。
• 应用线性规划对偶性与整数解界（通过Gordan定理与整数矩阵解）来控制分离向量的范数。
• 利用具有±1,0系数的方程组解范数的组合界，推导出最大间隔μ_max的上界。
• 通过将每轮迭代的损失下降量与间隔结构及有限间隔样本数量关联，建立收敛速率。
• 采用AdaBoost的坐标下降解释，分析其向最小化指数损失函数的进展。

实验结果

研究问题

• RQ1 在不假设弱学习或有限极小值点的前提下，AdaBoost达到最小指数损失的收敛速率是多少？
• RQ2 对于ℓ₁-范数有界的参数向量，其在B和1/ε上多项式收敛速率的猜想是否可实现？
• RQ3 能否将收敛速率中对ε的依赖改进至O(1/ε)以下，且O(1/ε)是否为最优？
• RQ4 训练数据的结构——特别是有限间隔与零损失样本——如何影响收敛性？
• RQ5 实现指数损失ε-最优性的最大迭代次数的最紧可能上界是什么？

主要发现

• AdaBoost可在B和1/ε的多项式时间内，使指数损失值与任意ℓ₁-范数不超过B的参数向量的损失值相差不超过ε。
• 收敛速率中对B和1/ε的依赖是最优的，已通过匹配的下界得到证明。
• 在C/ε轮迭代内，AdaBoost的损失值最多比指数损失的全局最小值高出ε，其中C取决于数据集。
• C/ε的收敛速率在常数因子意义下为最优，因为Ω(1/ε)轮迭代是实现ε-最优性的必要条件。
• 有限间隔样本的最大间隔μ_max被控制在2^{O(m ln m)}以内，从而控制损失下降速率。
• 分解引理表明，有限间隔集存在一组非负线性组合的间隔，其和为零，从而支持对损失景观的结构性分析。