[论文解读] The Evolution of Boosting Algorithms - From Machine Learning to Statistical Modelling

Andreas Mayr, Harald Binder+2 more|PubMed|Mar 6, 2014

Machine Learning and Data Classification参考文献 71被引用 184

一句话总结

本文追溯了提升算法从机器学习起源到在统计建模中应用的演变过程，强调了梯度提升和基于似然的提升作为处理高维生物医学数据的灵活且可解释的工具。它表明，这些方法能够在 p > n 的情形下实现自动变量选择和稳定估计，同时保持经典回归的可解释性。

ABSTRACT

Statistical boosting algorithms have gained substantial interest during the last decade and offer a variety of options to address important research questions in modern biomedicine.

研究动机与目标

• 追溯提升算法从机器学习到统计建模的历史发展。
• 弥合梯度提升与基于似然的提升之间的方法论鸿沟，尽管它们在文献中被分别处理。
• 展示统计提升如何在高维生物医学数据中实现可解释的自动变量选择与模型拟合。
• 为研究人员提供使用广泛可用的 R 包实现这些方法的实际指导。

提出的方法

• 将机器学习中的 AdaBoost 算法改编为迭代组合弱学习器的基础，以提高分类准确性。
• 提出梯度提升作为一种通用框架，通过在函数空间中使用梯度下降来最小化损失函数。
• 将基于似然的提升应用于指数族分布，实现广义线性模型和广义可加模型的估计。
• 使用分量式基学习器，实现对预测变量效应的灵活、可加建模，并实现自动变量选择。
• 采用基于信息准则（如 AIC）或重抽样技术的停止规则，以防止过拟合并优化模型性能。
• 利用 mboost、GAMBoost、CoxBoost 和 gbm 等 R 包，在多种回归设置中实现实际应用。

实验结果

研究问题

• RQ1 提升方法如何从一种黑箱机器学习技术演变为具有统计可解释性的建模框架？
• RQ2 梯度提升与基于似然的提升在方法论上的异同是什么？
• RQ3 统计提升算法在处理具有复杂预测变量效应的高维生物医学数据（p > n）时，提供了哪些解决方案？
• RQ4 统计提升方法如何在实现自动变量选择和模型选择的同时保持可解释性？
• RQ5 在实际生物医学研究中应用提升方法时，有哪些计算考量和实用实现策略？

主要发现

• 梯度提升与基于似然的提升具有相同的方法论根源，并遵循相同的内核原则，尽管它们在文献中被分别处理。
• 统计提升算法提供了与经典回归可比的可解释模型，而不同于 AdaBoost 等黑箱机器学习方法。
• 当使用分量式基学习器时，这些方法在 p > n 情形下计算上是可行的，其复杂度与预测变量数量呈线性关系。
• 基于似然的提升提供了海塞矩阵，从而能够计算估计效应的近似置信区间。
• 基于重抽样技术的停止规则在计算上较为耗时，但可通过 R 实现中的并行计算技术加以加速。
• 由于能够处理具有自动变量选择和稳定估计的高维数据，统计提升在生物医学研究中的应用预计将持续增长。