[论文解读] Robust-GBDT: GBDT with Nonconvex Loss for Tabular Classification in the Presence of Label Noise and Class Imbalance

Jiaqi Luo, Yuedong Quan+1 more|arXiv (Cornell University)|Oct 8, 2023

Image and Signal Denoising MethodsComputer Science被引用 3

一句话总结

本文提出 Robust-GBDT，一种新颖的梯度提升模型，将非凸鲁棒损失函数——特别是 Robust Focal Loss —— 集成到先进的 GBDT 框架中，以增强在表格分类任务中对标签噪声和类别不平衡的鲁棒性。通过证明非凸损失函数可通过 Hessian 约束在二阶 GBDT 中有效使用，该方法实现了更优的泛化能力和计算效率，优于现有的噪声鲁棒和类别不平衡学习技术。

ABSTRACT

Dealing with label noise in tabular classification tasks poses a persistent challenge in machine learning. While robust boosting methods have shown promise in binary classification, their effectiveness in complex, multi-class scenarios is often limited. Additionally, issues like imbalanced datasets, missing values, and computational inefficiencies further complicate their practical utility. This study introduces Robust-GBDT, a groundbreaking approach that combines the power of Gradient Boosted Decision Trees (GBDT) with the resilience of nonconvex loss functions against label noise. By leveraging local convexity within specific regions, Robust-GBDT demonstrates unprecedented robustness, challenging conventional wisdom. Through seamless integration of advanced GBDT with a novel Robust Focal Loss tailored for class imbalance, Robust-GBDT significantly enhances generalization capabilities, particularly in noisy and imbalanced datasets. Notably, its user-friendly design facilitates integration with existing open-source code, enhancing computational efficiency and scalability. Extensive experiments validate Robust-GBDT's superiority over other noise-robust methods, establishing a new standard for accurate classification amidst label noise. This research heralds a paradigm shift in machine learning, paving the way for a new era of robust and precise classification across diverse real-world applications.

研究动机与目标

• 解决现有鲁棒提升方法大多局限于二分类任务、在处理类别不平衡和计算效率方面表现不佳的问题。
• 通过使非凸损失函数适用于二阶 GBDT 模型，将鲁棒损失函数的应用范围扩展到多分类表格分类任务。
• 通过关于基于 Hessian 的非凸损失优化的新型理论洞察，提升在标签噪声和类别不平衡条件下的泛化能力。
• 开发一种用户友好、高效且可集成的模型，可无缝替代现有 GBDT 库中的标准目标函数。

提出的方法

• 理论分析表明，二阶 GBDT 中损失函数的 Hessian 无需全局凸性，仅需在局部区域内凸性即可，从而支持非凸鲁棒损失的使用。
• Robust-GBDT 将先进的 GBDT 框架（如 XGBoost、LightGBM）与鲁棒损失函数相结合，利用带修改 Hessian 约束的牛顿法进行优化。
• 提出一种新型鲁棒损失函数——Robust Focal Loss (RFL)，通过降低易分类、多数类样本的权重，显式缓解类别不平衡问题。
• 通过将目标函数替换为 RFL，该方法可实现即插即用式集成，无缝接入现有开源 GBDT 代码库，同时保持训练速度和可扩展性。
• 采用成对标签翻转矩阵在多分类数据集中模拟标签噪声，实现在真实噪声条件下的可控评估。
• 通过在具有受控噪声率和类别不平衡比例的标准基准数据集上进行实证验证，评估模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 非凸损失函数是否可在不损害优化稳定性的情况下有效应用于二阶 GBDT 模型？
• RQ2 将鲁棒损失函数集成到 GBDT 中，能否在多分类表格数据中提升标签噪声和类别不平衡条件下的性能？
• RQ3 Robust-GBDT 在准确率和泛化能力方面，相较于现有噪声鲁棒和类别不平衡学习方法，优势有多大？
• RQ4 所提出的方法是否可高效集成到现有 GBDT 库中，而无需牺牲训练速度或进行架构修改？

主要发现

• 在多个数据集上，Robust-GBDT 在不同标签噪声率下均显著优于基线 GBDT 和其他噪声鲁棒方法，分类准确率更高。
• 该模型在二分类和多分类表格数据集上均展现出优越的泛化能力，尤其在高噪声和强类别不平衡条件下表现突出。
• Robust Focal Loss 有效缓解了类别不平衡的负面影响，提升了少数类的性能，同时未降低整体准确率。
• 理论分析证实，只要 Hessian 在相关区域内保持正定，非凸损失函数即可安全用于 GBDT，从而支持更广泛的损失函数设计。
• Robust-GBDT 保持了标准 GBDT 模型的计算效率，可通过在现有代码库中简单替换目标函数实现高效部署。
• 在 18 个基准数据集上的大量实验表明，Robust-GBDT 在鲁棒性和预测性能方面始终优于最先进基线方法。