[论文解读] Multi-Target XGBoostLSS Regression

Alexander März|arXiv (Cornell University)|Oct 13, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出 Multi-Target XGBoostLSS，一种概率回归框架，通过使用梯度提升联合估计多变量分布参数，将 XGBoostLSS 扩展至建模多个相关响应变量。该方法利用 PyTorch 的自动微分技术建模复杂依赖关系，在保持与现有梯度提升机（GBM）相当准确度的同时，实现了比现有方法更快的运行速度，适用于模拟和真实世界数据集。

ABSTRACT

Current implementations of Gradient Boosting Machines are mostly designed for single-target regression tasks and commonly assume independence between responses when used in multivariate settings. As such, these models are not well suited if non-negligible dependencies exist between targets. To overcome this limitation, we present an extension of XGBoostLSS that models multiple targets and their dependencies in a probabilistic regression setting. Empirical results show that our approach outperforms existing GBMs with respect to runtime and compares well in terms of accuracy.

研究动机与目标

• 解决现有梯度提升机（GBM）在多变量场景下的局限性，即假设目标之间条件独立。
• 开发一种可扩展的概率回归框架，显式建模多个响应变量之间的依赖关系。
• 将单变量 XGBoostLSS 框架扩展至使用灵活的多变量分布进行多目标分布回归。
• 通过利用 PyTorch 的自动微分和 GPU-加速直方图训练，提升高维多变量回归中的计算效率。
• 展示该方法在运行时间上优于单目标和多输出 GBM 基线模型，同时在准确度上保持竞争力。

提出的方法

• 通过在 D 个目标上联合建模响应变量的均值、尺度和形状参数，将 XGBoostLSS 扩展至多目标回归。
• 使用多变量正态分布、狄利克雷分布或学生 t 分布对响应向量 $\mathbf{y}_i \in \mathbb{R}^D$ 建模，其参数通过梯度提升进行估计。
• 利用 PyTorch 的自动微分计算复杂分布的梯度和海塞矩阵，尤其适用于难以推导解析导数的分布。
• 采用 Cholesky 分解和低秩近似（LRA）分别对完整协方差矩阵和简化协方差矩阵进行建模，以高效捕捉多变量依赖关系。
• 为每个分布参数分别训练树模型，损失函数基于负对数似然（NLL）以优化联合分布模型。
• 通过 Dask 支持分布式训练，并利用 GPU 加速的直方图训练实现大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 能否有效将梯度提升框架扩展至显式建模目标间依赖关系的多变量概率回归？
• RQ2 所提出的 Multi-Target XGBoostLSS 在多变量数据集上的运行时间和准确度与标准 GBM 及多输出回归器相比如何？
• RQ3 不同的协方差结构近似方法（Cholesky 与低秩近似）对模型性能和计算成本有何影响？
• RQ4 当响应变量维度较高时，模型性能对低秩近似中秩参数 $r$ 的选择有多敏感？
• RQ5 PyTorch 中的自动微分能否在提升框架中高效训练复杂多变量分布？

主要发现

• 所提出的 Multi-Target XGBoostLSS 在运行时间上优于标准 GBM，尤其得益于高效的参数估计和对 GPU 直方图训练的支持。
• 基于 Cholesky 的模型在低维至中维数据集上实现了最佳的准确度与计算效率平衡，多数基准测试中 NLL 分数最低。
• 低秩近似（LRA）模型表现具有竞争力，但对秩参数 $r$ 极其敏感，最优性能因数据集和维度而异。
• 在 atp1d 数据集上，当 $r$ 从 2 增加到 10 时，性能显著下降（NLL 从 34.97 上升至 70.30），表明高秩下存在过拟合。
• 在 sl-数据集上，$r=5$ 的 LRA 模型实现了最低的中位数 NLL（10.74），而更高秩导致性能下降，表明表达能力与过拟合之间存在权衡。
• 在高维 oes10-数据集上，LRA 模型运行时间最低，因其参数规模与 $D$ 和 $r$ 呈线性关系，展现出在高维场景下的可扩展优势。