[论文解读] Quantile Extreme Gradient Boosting for Uncertainty Quantification

Xiaozhe Yin, Masoud Fallah-Shorshani+4 more|arXiv (Cornell University)|Apr 23, 2023

Machine Learning and Data Classification被引用 6

一句话总结

本文提出 QXGBoost，一种新颖方法，通过使用可微分的 Huber 近似分位数回归目标函数，增强 XGBoost 的能力，实现通过概率预测区间进行精确的不确定性量化。该方法在模拟数据和真实世界交通噪声数据上均实现了比基线模型更优的覆盖率和更窄的预测区间。

ABSTRACT

As the availability, size and complexity of data have increased in recent years, machine learning (ML) techniques have become popular for modeling. Predictions resulting from applying ML models are often used for inference, decision-making, and downstream applications. A crucial yet often overlooked aspect of ML is uncertainty quantification, which can significantly impact how predictions from models are used and interpreted. Extreme Gradient Boosting (XGBoost) is one of the most popular ML methods given its simple implementation, fast computation, and sequential learning, which make its predictions highly accurate compared to other methods. However, techniques for uncertainty determination in ML models such as XGBoost have not yet been universally agreed among its varying applications. We propose enhancements to XGBoost whereby a modified quantile regression is used as the objective function to estimate uncertainty (QXGBoost). Specifically, we included the Huber norm in the quantile regression model to construct a differentiable approximation to the quantile regression error function. This key step allows XGBoost, which uses a gradient-based optimization algorithm, to make probabilistic predictions efficiently. QXGBoost was applied to create 90\% prediction intervals for one simulated dataset and one real-world environmental dataset of measured traffic noise. Our proposed method had comparable or better performance than the uncertainty estimates generated for regular and quantile light gradient boosting. For both the simulated and traffic noise datasets, the overall performance of the prediction intervals from QXGBoost were better than other models based on coverage width-based criterion.

研究动机与目标

• 为解决 XGBoost 中缺乏不确定性量化的问题，XGBoost 是一种广泛使用但属于黑箱的机器学习模型。
• 克服标准分位数回归的不可微性，该问题阻碍了 XGBoost 中基于梯度的优化。
• 开发一种可扩展、易于实现的方法，用于生成可靠的预测区间，且无需修改源代码。
• 将所提出方法的性能与现有基于分位数的模型（如分位数 LightGBM 和普通 XGBoost）进行对比评估。
• 通过提供校准的不确定性估计，提升环境与公共健康应用中决策的可信度。

提出的方法

• 提出一种使用 Huber 范数的改进分位数回归目标函数，以创建非可微分分位数损失的可微分近似。
• 将 Huber 近似分位数损失集成到 XGBoost 的梯度提升框架中，通过泰勒展开实现二阶优化。
• 使用阈值超参数 τ 控制 Huber 近似的平滑度，以在偏差与收敛性之间取得平衡。
• 将该方法应用于训练 XGBoost 模型，以预测多个分位数（例如第 5 和第 95 百分位数），从而构建 90% 的预测区间。
• 采用基于覆盖率与宽度的评估准则（PICP 与 PINAW）来评估预测区间的性能。
• 调整阈值 τ 和标准 XGBoost 超参数，以在覆盖率概率与区间宽度之间实现平衡。

Figure 1: Quantile plot.

实验结果

研究问题

• RQ1 能否成功将分位数回归的可微分近似集成到 XGBoost 中，以实现不确定性量化？
• RQ2 QXGBoost 在预测区间覆盖率与宽度方面与普通 XGBoost 和分位数 LightGBM 相比表现如何？
• RQ3 Huber 阈值参数 τ 对预测区间质量与模型校准的影响是什么？
• RQ4 QXGBoost 是否能在无需大量代码修改的情况下生成校准良好的预测区间？
• RQ5 该方法在不同数据分布下（尤其是极端值处）是否保持稳健性能？

主要发现

• 在模拟数据和真实世界交通噪声数据上，QXGBoost 在预测区间覆盖率与宽度方面均达到与基线模型相当或更优的性能。
• 在模拟数据集上，QXGBoost 实现了 90.1% 的预测区间覆盖率概率（PICP）和 0.89 的预测区间归一化平均宽度（PINAW），优于其他模型。
• 在真实交通噪声数据集上，QXGBoost 实现了 89.0% 的 PICP 和 1.02 的 PINAW，仅需 1% 的覆盖率余量即可达到 90%。
• 在模拟数据上仅需 3% 的覆盖率余量，在真实数据上仅需 1% 的覆盖率余量，表明其具有极强的校准性且调整需求极低。
• 在极端交通噪声水平下性能下降，原因在于训练数据稀疏，表现为低水平时过度估计，高水平时低估。
• 阈值参数 τ 对区间质量有显著影响，当 τ 保持在 2 以下时可获得最佳性能，避免因 Huber 近似不佳导致的偏差。

Figure 2: The difference between the absolute value function and Huber approximation function with different thresholds when the quantile $\tau=0.95$ .