[论文解读] Re-scale boosting for regression and classification

Shao-Bo Lin, Yao Wang+1 more|arXiv (Cornell University)|May 6, 2015

Machine Learning and Data Classification参考文献 36被引用 5

一句话总结

本文提出了一种新型提升方法——重缩放提升（Re-scale Boosting, RBoosting），通过在每次迭代中对复合估计器应用收缩算子，加速收敛过程，实现近似最优的数值收敛速率 $\mathcal{O}(k^{-1/2}\log k)$ 和紧致的一般化误差界，显著提升了回归与分类任务中标准提升方法的学习性能。

ABSTRACT

Boosting is a learning scheme that combines weak prediction rules to produce a strong composite estimator, with the underlying intuition that one can obtain accurate prediction rules by combining "rough" ones. Although boosting is proved to be consistent and overfitting-resistant, its numerical convergence rate is relatively slow. The aim of this paper is to develop a new boosting strategy, called the re-scale boosting (RBoosting), to accelerate the numerical convergence rate and, consequently, improve the learning performance of boosting. Our studies show that RBoosting possesses the almost optimal numerical convergence rate in the sense that, up to a logarithmic factor, it can reach the minimax nonlinear approximation rate. We then use RBoosting to tackle both the classification and regression problems, and deduce a tight generalization error estimate. The theoretical and experimental results show that RBoosting outperforms boosting in terms of generalization.

研究动机与目标

• 解决传统提升方法数值收敛速率缓慢的问题，该问题限制了其学习效率与泛化性能。
• 开发一种新型提升框架，提升收敛速度，同时保持或提高预测准确性。
• 在字典假设最小化的前提下，建立收敛速率、一致性和泛化误差界的理论保证。
• 通过实证验证表明，RBoosting 在回归与分类任务中均优于标准提升方法，以及 RSboosting、RTboosting 和 ε-boosting 等其他变体。

提出的方法

• 引入一种重缩放算子，通过收缩调整上一迭代的复合估计器，实现步长的动态调节。
• 将 RBoosting 建模为一种带自由松弛的贪心算法，其中收缩作用于累积模型而非单个弱学习器。
• 通过引入收缩参数 $\alpha_k$ 的改进线搜索方法，推导出 RBoosting 的更新规则，以控制当前估计器的重缩放。
• 理论分析基于逼近理论，特别是利用弱学习器字典最小化风险，并通过非线性逼近理论推导收敛速率。
• 利用经验过程理论推导泛化误差界，表明其依赖于 $k^{-1}$ 和 $k(\log m + \log k)/m$，反映了更高的样本效率。
• 为回归（$L_2$ 提升）与分类（重缩放 AdaBoost、LogitBoost）实现 RBoosting 变体，并在各类设置中保持一致的理论处理。

实验结果

研究问题

• RQ1 对复合估计器应用重缩放机制，是否能够使提升方法的数值收敛速率超越标准方法？
• RQ2 此类重缩放策略可实现的最优收敛速率为何？与极小化非线性逼近速率相比如何？
• RQ3 RBoosting 是否实现了比标准提升方法及其他变体（如 RSboosting 或 ε-boosting）更紧致的泛化误差界？
• RQ4 在字典假设放宽且迭代次数灵活的条件下，RBoosting 是否仍具有一致性？
• RQ5 收缩参数 $\alpha_k$ 的选择如何影响收敛性与性能？是否可通过模型选择进行优化？

主要发现

• RBoosting 实现了近似最优的数值收敛速率 $\mathcal{O}(k^{-1/2}\log k)$，显著快于原始提升方法的速率 $\mathcal{O}(k^{-0.1898})$。
• RBoosting 的泛化误差界为 $\mathbf{E}\{Q(f_k) - Q(h)\} \leq C(\|h\|_1^2 + \log k)k^{-1} + \frac{4\mathcal{C}_1C_3k(\log m + \log k)}{3m}$，代表了更紧致且改进的误差估计。
• 在字典假设放宽且迭代次数灵活的条件下，RBoosting 仍具有一致性，扩展了提升方法的理论基础。
• 实证结果表明，RBoosting 在回归与分类任务中均优于标准提升方法，且在性能上至少与 RSboosting、RTboosting 和 ε-boosting 等变体相当。
• 收缩参数 $\alpha_k$ 起关键作用：过小则导致收敛缓慢（如标准提升），过大则降低性能，表明需通过模型选择谨慎选取。
• 理论分析表明，RBoosting 的收敛速率无法被本质性地改进，确认其在非线性逼近背景下的近似最优性。