[论文解读] Online Gradient Boosting

Alina Beygelzimer, Elad Hazan+2 more|arXiv (Cornell University)|Jun 16, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 33

一句话总结

本文提出了用于回归的在线梯度提升算法，将批量提升理论扩展至在线学习。提出两种算法：一种通过在线梯度下降与基函数的线性组合竞争，实现指数收敛；另一种更简单，与凸组合竞争，其最优性在常数因子范围内得到证明，两种算法均具有理论 regret 边界，并在真实世界数据集上得到经验验证。

ABSTRACT

We extend the theory of boosting for regression problems to the online learning setting. Generalizing from the batch setting for boosting, the notion of a weak learning algorithm is modeled as an online learning algorithm with linear loss functions that competes with a base class of regression functions, while a strong learning algorithm is an online learning algorithm with convex loss functions that competes with a larger class of regression functions. Our main result is an online gradient boosting algorithm which converts a weak online learning algorithm into a strong one where the larger class of functions is the linear span of the base class. We also give a simpler boosting algorithm that converts a weak online learning algorithm into a strong one where the larger class of functions is the convex hull of the base class, and prove its optimality.

研究动机与目标

• 将提升理论从批量设置推广至回归问题的在线学习。
• 将在线提升形式化为一个在线学习问题，使用平滑凸损失函数，与更大类别的回归函数进行竞争。
• 开发一种在线梯度提升算法，将弱在线学习器转化为线性基类上的强学习器。
• 设计一种更简单的算法，与基函数的凸包竞争，并证明其在 regret 边界上的最优性。
• 通过使用多样化基学习器在真实数据集上的实验，验证所提算法的性能，展示性能提升。

提出的方法

• 本文将弱学习建模为在线线性学习，使用线性损失函数，与回归函数的基类进行竞争。
• 提出一种在线梯度提升算法，通过梯度下降迭代组合弱假设，最小化基函数线性空间上的 regret。
• 对于凸包情形，采用 Frank-Wolfe 风格技术进行分析，确保收敛性，并在常数因子范围内达到最优 regret。
• 通过参数 λ 对基函数类进行自适应缩放，以改善 regret 边界，平衡范数减小与参数增长。
• 算法在 Vowpal Wabbit 中实现，并使用渐进验证在 14 个公开数据集上评估，损失函数为平方损失。
• 理论分析基于在线 regret 最小化，并将批量提升中的技术（如 Zhang 和 Yu 的方法）适配至在线设置，采用与先前在线提升工作不同的新颖证明技术。

实验结果

研究问题

• RQ1 能否在具有理论保证的前提下，将回归的提升方法推广至在线学习设置？
• RQ2 能否构建一种在线梯度提升算法，与基函数的线性空间竞争，并实现快速收敛？
• RQ3 是否存在一种更简单的在线提升算法，与基函数的凸包竞争，并实现最优 regret？
• RQ4 在实践中，与基学习器相比，在线提升的性能如何，特别是在不同类型弱学习器上的表现？
• RQ5 所提出的在线提升算法能否被调整以改善批量设置下的收敛速度？

主要发现

• 与基函数线性空间竞争的在线梯度提升算法实现了指数收敛，其收敛速度优于 Zhang 和 Yu 的批量算法。
• 与基函数凸包竞争的更简单算法在常数因子范围内达到最优 regret 边界，通过 Frank-Wolfe 分析得到证明。
• 实验结果表明，使用回归桩作为基学习器时，与基学习器相比，平方损失平均降低 20.22%，表明对弱学习器有显著增益。
• 对于更强的基学习器（如 SGD 和神经网络），性能提升较小（平均分别为 1.65% 和 7.88%），表明当基学习器较弱时，提升效果最显著。
• 通过 λ 对基函数类进行缩放可进一步改善 regret 边界，当 λ 选择适当时，实验中观察到性能增益。
• 该算法框架甚至在批量设置中也改善了收敛保证，表明在线技术可推广至经典提升方法。