[论文解读] Multivariate Probabilistic Regression with Natural Gradient Boosting

Michael O’Malley, Adam M. Sykulski+2 more|arXiv (Cornell University)|Jun 7, 2021

Gaussian Processes and Bayesian Inference参考文献 22被引用 5

一句话总结

本论文提出了一种基于自然梯度提升（NGBoost）的多变量概率回归框架，用于建模多变量输出（如二维速度矢量）之间的联合不确定性。通过使用自然梯度提升参数化多变量正态分布，该方法能够捕捉输出维度之间的相关性，在模拟和真实海洋洋流预测任务中均优于独立建模方法和深度神经网络。

ABSTRACT

Many single-target regression problems require estimates of uncertainty along with the point predictions. Probabilistic regression algorithms are well-suited for these tasks. However, the options are much more limited when the prediction target is multivariate and a joint measure of uncertainty is required. For example, in predicting a 2D velocity vector a joint uncertainty would quantify the probability of any vector in the plane, which would be more expressive than two separate uncertainties on the x- and y- components. To enable joint probabilistic regression, we propose a Natural Gradient Boosting (NGBoost) approach based on nonparametrically modeling the conditional parameters of the multivariate predictive distribution. Our method is robust, works out-of-the-box without extensive tuning, is modular with respect to the assumed target distribution, and performs competitively in comparison to existing approaches. We demonstrate these claims in simulation and with a case study predicting two-dimensional oceanographic velocity data. An implementation of our method is available at https://github.com/stanfordmlgroup/ngboost.

研究动机与目标

• 为解决缺乏能够捕捉相关输出维度之间联合不确定性的稳健、开箱即用的多变量概率回归方法的问题。
• 将NGBoost框架扩展至支持多变量预测分布的联合建模，特别是针对多变量正态分布目标。
• 证明建模输出维度之间的相关性可提升预测准确性和不确定性量化效果，优于独立模型或对角协方差假设。
• 提供一种模块化、无需调参的实现方式，使研究人员能够轻松将多变量概率回归应用于环境与科学数据。

提出的方法

• 该方法使用自然梯度提升将多变量正态分布的条件均值向量和完整协方差矩阵建模为输入特征的非参数函数。
• 采用自然梯度下降优化预测分布的参数，利用费舍尔信息度量实现高效且稳定的参数更新。
• 算法通过弱学习器（如决策树）迭代优化均值和协方差参数的预测，最小化训练数据的负对数似然。
• 该方法具有模块化特性：只要定义了梯度和黎曼度量，用户即可插入任意多变量分布，从而可扩展至其他分布。
• 与深度分布回归相比，该方法在高维输出空间中更具效率，后者存在输出维度呈指数增长的问题。
• 该实现已集成至NGBoost Python包中，用户可仅通过极少调参即可执行多变量概率回归。

实验结果

研究问题

• RQ1 自然梯度提升能否有效扩展至具有联合不确定性的多变量概率回归？
• RQ2 与独立建模或对角协方差假设相比，对相关输出维度进行联合建模在预测性能上是否有提升？
• RQ3 所提出的多变量NGBoost方法在不确定性校准和预测准确性方面是否优于最先进深度学习基线？
• RQ4 建模完整协方差矩阵在多大程度上能减小预测区域面积，同时保持或提升覆盖率？

主要发现

• 多变量NGBoost（NGB）模型在测试集上的负对数似然（NLL）为7.73±0.02，优于独立NGBoost（Indep NGB）的7.74±0.02和深度神经网络（NN）的7.81±0.02。
• NGB的均方根误差（RMSE）为14.53±0.14 cm·s⁻¹，低于NN的16.63±0.19 cm·s⁻¹，表明其点预测精度更优。
• NGB的90%预测区域（PR）面积为2482±51 cm²·s⁻²，显著小于NN的3670±75 cm²·s⁻²，表明其不确定性估计更紧密且精确。
• NGB与Indep NGB在NLL上的空间差异表明，NGB在高相关性区域（特别是北大西洋）具有更优的不确定性校准效果。
• 该模型成功捕捉到了墨西哥湾流和北大西洋流等主要海洋学特征，其均值洋流预测结果展示了实际应用潜力。
• 结果表明，通过在高相关性区域使用NGB、其他区域使用Indep NGB的模型堆叠策略，可能进一步提升性能，尽管该方向仍需进一步探索。