[论文解读] XGBoostLSS -- An extension of XGBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|Jul 6, 2019

Forecasting Techniques and Applications被引用 14

一句话总结

本文提出了 XGBoostLSS，作为 XGBoost 的扩展，通过同时估计位置、尺度和形状等所有分布参数，对单变量响应的完整条件分布进行建模。通过将 XGBoost 的提升框架与 GAMLSS 原理结合实现分布建模，该方法支持概率预测、预测区间和分位数估计，显著提升了机器学习模型中的不确定性量化能力。

ABSTRACT

We propose a new framework of XGBoost that predicts the entire conditional distribution of a univariate response variable. In particular, XGBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distribution, modelling and predicting the entire conditional distribution greatly enhances the flexibility of XGBoost, as it allows to gain additional insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real world examples that demonstrate the virtues of our approach.

研究动机与目标

• 为解决传统 XGBoost 仅预测条件均值的局限性，实现完整的分布预测。
• 将 GAMLSS 的灵活性——即对位置、尺度和形状参数的建模——整合到 XGBoost 框架中，以提升不确定性量化能力。
• 提供一种可扩展、高性能的机器学习工具，支持概率预测，同时保留 XGBoost 的速度和可解释性特性。
• 通过支持可解释的、具有分布感知的预测，弥合统计建模（数据建模文化）与算法建模（算法建模文化）之间的差距。

提出的方法

• 扩展 XGBoost 以使用参数分布族对所有分布参数（LSS：位置、尺度、形状）进行建模。
• 应用牛顿提升以最小化负对数似然，将经验风险最小化与最大似然估计相联系。
• 使用已知的链接函数将线性预测器映射到分布参数，实现对每个参数的灵活、可加建模。
• 支持广泛的连续型、离散型及混合分布，可适应多种数据类型。
• 整合 XGBoost 的现有功能：SHAP 值、部分依赖图、GPU/CPU 及分布式计算（Spark、Dask），以及贝叶斯超参数优化。
• 采用考虑依赖关系的交叉验证策略（如时间序列或分组交叉验证），以处理非独立同分布的数据结构。

实验结果

研究问题

• RQ1 XGBoost 能否被扩展以建模响应变量的完整条件分布，而不仅限于均值？
• RQ2 在不确定性量化和预测区间覆盖方面，XGBoostLSS 相较于标准 XGBoost 的表现如何？
• RQ3 XGBoostLSS 在通过联合建模分布参数方面，能在多大程度上捕捉现实数据中的异方差性、偏度和峰度？
• RQ4 特征重要性和部分效应在响应分布的不同分位数或期望值上如何变化？
• RQ5 XGBoostLSS 能否有效处理具有纵向或空间依赖性的非独立同分布数据结构？

主要发现

• XGBoostLSS 通过同时估计所有分布参数（位置、尺度、形状），成功对响应变量的完整条件分布进行建模。
• 该模型能够从完整预测分布中推导出预测区间和感兴趣的分位数，显著提升了不确定性量化能力。
• 特征重要性和部分效应在不同期望值或分位数上存在差异，揭示了协变量如何影响响应分布的不同部分。
• 在所有分布参数上计算的 SHAP 值提供了对模型行为的可解释洞察，不仅限于均值。
• 模拟和真实世界示例表明，XGBoostLSS 在捕捉偏度和异方差性等分布特征方面优于标准 XGBoost。
• 贝叶斯优化能有效调优超参数，且尽管模型复杂度提高，仍保持计算效率。