[论文解读] Optimization by gradient boosting

Gérard Biau, Benoı̂t Cadre|arXiv (Cornell University)|Jul 17, 2017

Statistical Methods and Inference被引用 5

一句话总结

本文为梯度提升提供了一个严格的函数优化框架，证明了随着迭代次数增加，Friedman 和 Mason 等人的算法均能收敛。研究建立强凸性风险泛函与 $L^2$ 惩罚可确保一致性与统计正则化，而无需提前停止。

ABSTRACT

Gradient boosting is a state-of-the-art prediction technique that sequentially produces a model in the form of linear combinations of simple predictors---typically decision trees---by solving an infinite-dimensional convex optimization problem. We provide in the present paper a thorough analysis of two widespread versions of gradient boosting, and introduce a general framework for studying these algorithms from the point of view of functional optimization. We prove their convergence as the number of iterations tends to infinity and highlight the importance of having a strongly convex risk functional to minimize. We also present a reasonable statistical context ensuring consistency properties of the boosting predictors as the sample size grows. In our approach, the optimization procedures are run forever (that is, without resorting to an early stopping strategy), and statistical regularization is basically achieved via an appropriate $L^2$ penalization of the loss and strong convexity arguments.

研究动机与目标

• 建立统一的函数优化框架，用于在 $L^2$ 空间中分析梯度提升算法。
• 证明当迭代次数趋于无穷时，梯度提升迭代序列几乎必然收敛至经验风险泛函的最小化器。
• 阐明强凸性与 $L^2$ 惩罚在实现统计一致性和正则化中的作用。
• 证明只要风险泛函是强凸的且惩罚得当，即使不进行提前停止，也能实现正则化。
• 为 XGBoost 等系统中的算法选择（如目标函数正则化）提供理论依据。

提出的方法

• 将梯度提升表述为希尔伯特空间中函数的无限维凸优化问题。
• 在 $L^2$ 空间中分析两种主要变体：Friedman（2001）与 Mason 等人（2000）的梯度提升，采用函数下降法。
• 提出一个通用框架，通过迭代最小化凸可微损失函数来研究收敛性。
• 利用风险泛函的强凸性确保最小化器的唯一性与稳定性。
• 通过 $L^2$ 惩罚实现统计正则化，替代对提前停止的依赖。
• 应用 Dudley 不等式与次高斯过程理论，对由树划分定义的函数类上的经验过程偏差进行有界。

实验结果

研究问题

• RQ1 随着迭代次数增加，梯度提升在何种条件下收敛至经验风险泛函的最小化器？
• RQ2 风险泛函的强凸性如何影响梯度提升算法的收敛性与稳定性？
• RQ3 是否可以在不使用提前停止的情况下实现梯度提升中的统计正则化？若可以，其机制是什么？
• RQ4 $L^2$ 惩罚在确保样本规模增大时提升预测器的一致性方面起什么作用？
• RQ5 梯度提升的理论性质在多大程度上依赖于损失函数的选择以及基学习器的结构？

主要发现

• 当迭代次数趋于无穷时，提升迭代序列在 $L^2$ 范数下以概率几乎必然收敛至经验风险泛函的最小化器。
• 风险泛函的强凸性是确保收敛性与解唯一性的关键因素。
• 只要风险泛函是强凸的且损失函数得到适当惩罚，随着样本规模增大，提升预测器的统计一致性即可实现。
• $L^2$ 损失函数惩罚是一种有效的正则化形式，使得为保证一致性而进行提前停止变得不再必要。
• 经验过程偏差的收敛速率通过 Dudley 不等式控制，当条件 $\frac{1}{\sqrt{nv_n\gamma_n}}\zeta\left(\sqrt{\frac{2\bar{\phi}}{v_n\gamma_n\inf_{\mathscr{X}}g}}\right)\to 0$ 成立时，该界趋于零。
• 该理论框架为 XGBoost 的设计选择提供了理论依据，特别是目标函数中正则化的使用，以防止过拟合。