[论文解读] Soft Gradient Boosting Machine

Ji Feng, Yi-Xuan Xu+2 more|arXiv (Cornell University)|Jun 7, 2020

Face and Expression Recognition参考文献 31被引用 9

一句话总结

本文提出软梯度提升机（sGBM），一种可微分的联合优化集成模型，通过使用局部和全局损失目标的并行优化替代传统基学习器的串行训练。通过采用可微分的软决策树作为基学习器，sGBM 在训练速度上实现超过10倍的加速，准确率更高，并在在线学习和知识蒸馏方面表现更优，优于传统梯度提升机（如XGBoost）。

ABSTRACT

Gradient Boosting Machine has proven to be one successful function approximator and has been widely used in a variety of areas. However, since the training procedure of each base learner has to take the sequential order, it is infeasible to parallelize the training process among base learners for speed-up. In addition, under online or incremental learning settings, GBMs achieved sub-optimal performance due to the fact that the previously trained base learners can not adapt with the environment once trained. In this work, we propose the soft Gradient Boosting Machine (sGBM) by wiring multiple differentiable base learners together, by injecting both local and global objectives inspired from gradient boosting, all base learners can then be jointly optimized with linear speed-up. When using differentiable soft decision trees as base learner, such device can be regarded as an alternative version of the (hard) gradient boosting decision trees with extra benefits. Experimental results showed that, sGBM enjoys much higher time efficiency with better accuracy, given the same base learner in both on-line and off-line settings.

研究动机与目标

• 解决传统梯度提升机（GBMs）中因串行训练导致的瓶颈问题，该问题限制了并行化与可扩展性。
• 在类似GBM的模型中实现在线与增量学习，解决以往训练好的基学习器无法适应新数据的问题。
• 开发一种基于硬决策树的GBM的可微分替代方案，支持联合优化与层次化表征学习。
• 通过软性可微组件增强基学习器之间的丰富交互，提升多输出回归与知识蒸馏性能。

提出的方法

• sGBM通过有向无环图（DAG）结构将多个可微分基学习器（如软决策树）连接成单一可微分架构。
• 为每个基学习器引入局部损失以最小化残差误差，同时引入全局损失以正则化整体模型性能。
• 通过随机梯度下降（SGD）或其变体对整个模型进行联合优化，支持端到端训练，并实现与并行化程度成线性关系的速度提升。
• 采用软决策树作为基学习器，支持梯度通过树结构流动，实现可微分的路由与分裂决策。
• 通过训练过程中将独热编码标签转换为密集向量，自然支持多维回归与知识蒸馏。
• 通过验证集对学习率、权重衰减等超参数进行调优，实验中采用Adam优化器。

实验结果

研究问题

• RQ1 可微分的联合优化集成模型是否能在训练速度与准确率上超越传统串行GBM？
• RQ2 软GBM框架是否能有效支持在线/增量学习，使模型在无需从头重新训练的情况下适应新数据批次？
• RQ3 sGBM是否能有效从深度神经网络中蒸馏知识，特别是在迁移软标签分布时？
• RQ4 sGBM中可微分基学习器之间的交互，与标准集成方法或硬GBM相比，在模型容量与泛化能力方面有何差异？

主要发现

• 当使用相同基学习器时，sGBM在训练时间上相比XGBoost实现超过10倍的加速，且在所有基准数据集上测试准确率更高。
• 在多输出回归任务中，sGBDT（sGBM的树基变体）优于XGBoost-MO，均方误差更低（如scm1d数据集上为0.0981 ± 0.0014，对比XGBoost-MO的0.1302 ± 0.0045）。
• 在增量学习中，sGBDT收敛更快，且准确率高于XGBoost，对数据批次的性能退化更小。
• sGBDT成功从CNN中蒸馏知识，在MNIST数据集上达到97.57%的测试准确率（对比XGBoost无蒸馏时的94.61%），而XGBoost在使用软标签时性能下降。
• 软决策树的使用实现了对多维输出的自然处理，并增强了基学习器之间的交互，从而提升了泛化能力与蒸馏性能。