[论文解读] PaloBoost: An Overfitting-robust TreeBoost with Out-of-Bag Sample Regularization Techniques

Yubin Park, Joyce C. Ho|arXiv (Cornell University)|Jul 22, 2018

Machine Learning and Data Classification参考文献 32被引用 6

一句话总结

PaloBoost 是一种随机梯度树提升（TreeBoost）模型，通过利用袋外（OOB）样本进行梯度感知剪枝和自适应学习率估计，增强了对过拟合的鲁棒性。通过将 OOB 样本视为第二组训练数据，它在训练过程中动态调整树的深度和学习率，从而降低对超参数的敏感性，并在噪声数据集上的表现优于标准的 TreeBoost 实现。

ABSTRACT

Stochastic Gradient TreeBoost is often found in many winning solutions in public data science challenges. Unfortunately, the best performance requires extensive parameter tuning and can be prone to overfitting. We propose PaloBoost, a Stochastic Gradient TreeBoost model that uses novel regularization techniques to guard against overfitting and is robust to parameter settings. PaloBoost uses the under-utilized out-of-bag samples to perform gradient-aware pruning and estimate adaptive learning rates. Unlike other Stochastic Gradient TreeBoost models that use the out-of-bag samples to estimate test errors, PaloBoost treats the samples as a second batch of training samples to prune the trees and adjust the learning rates. As a result, PaloBoost can dynamically adjust tree depths and learning rates to achieve faster learning at the start and slower learning as the algorithm converges. We illustrate how these regularization techniques can be efficiently implemented and propose a new formula for calculating feature importance to reflect the node coverages and learning rates. Extensive experimental results on seven datasets demonstrate that PaloBoost is robust to overfitting, is less sensitivity to the parameters, and can also effectively identify meaningful features.

研究动机与目标

• 为解决随机梯度树提升（SGTB）模型中常见的过拟合问题，特别是在噪声或复杂数据下的情况。
• 通过在训练过程中自动调整学习率和树深度，减少对大量超参数调优的依赖。
• 通过引入 OOB 样本正则化和节点覆盖信息，改进特征选择和重要性估计。
• 开发一种更稳定、更高效的 SGTB 变体，在降低对参数设置敏感性的同时保持高预测性能。
• 证明 OOB 样本的作用不仅限于误差估计，还可被重新用作模型正则化的主动组成部分。

提出的方法

• 通过使用 OOB 样本检测过拟合，并在袋外误差不再下降时剪枝树的叶节点，实现梯度感知剪枝。
• 利用 OOB 误差趋势在每个提升阶段估计自适应学习率，随着接近收敛而减缓学习速度。
• 将 OOB 样本视为第二组训练批次，实现双阶段训练：使用袋内样本进行树生长，使用 OOB 样本进行正则化。
• 提出一种新的特征重要性公式，综合考虑节点覆盖和自适应学习率，提升相关特征的检测能力。
• 实现高效的计算，将 OOB 正则化集成到 SGTB 中，性能开销极小。
• 通过监控 OOB 误差来指导早停和模型紧凑性，可能实现在训练后移除部分树。

实验结果

研究问题

• RQ1 OOB 样本能否被有效重用于误差估计之外，作为 TreeBoost 模型训练中主动正则化的组成部分？
• RQ2 基于 OOB 性能动态调整树深度和学习率，是否能提升泛化能力并减少过拟合？
• RQ3 通过引入节点覆盖和自适应学习率，PaloBoost 是否能比标准 SGTB 实现更优的特征重要性估计？
• RQ4 PaloBoost 在多大程度上降低了对学习率、树深度和树数量等超参数的敏感性？
• RQ5 所提出的正则化技术是否能实现更紧凑的模型，同时不损失预测性能？

主要发现

• 与基线 SGTB 模型相比，PaloBoost 显著减少了过拟合现象，其在测试集上的性能下降是渐进式的，而非急剧的。
• 该模型对超参数设置的敏感性较低：在所有七个数据集上，不同学习率和树深度的设置均能获得相近的预测性能。
• 在如 BNP Paribas Claims Management Kaggle 数据集等噪声较大的数据集上，PaloBoost 即使经过极少预处理，也优于其他 SGTB 实现。
• 在 Friedman 模拟数据集上，PaloBoost 的新特征重要性公式准确识别了相关特征，而标准实现则未能做到。
• 该算法在包括真实世界和模拟数据在内的多种数据集上均表现出稳定性能，证明其在复杂和噪声环境中的鲁棒性。
• PaloBoost 中许多树被分配了接近零的学习率，表明可通过移除可忽略的树实现模型压缩，且性能不会下降。