[论文解读] NGBoost: Natural Gradient Boosting for Probabilistic Prediction

Tony Duan, Anand Avati+5 more|arXiv (Cornell University)|Oct 8, 2019

Machine Learning in Healthcare被引用 143

一句话总结

NGBoost 将梯度提升扩展到概率回归，通过对多个分布参数联合提升，使用自然梯度，产生校准的预测分布，具有灵活的基学习器和分布。

ABSTRACT

We present Natural Gradient Boosting (NGBoost), an algorithm for generic probabilistic prediction via gradient boosting. Typical regression models return a point estimate, conditional on covariates, but probabilistic regression models output a full probability distribution over the outcome space, conditional on the covariates. This allows for predictive uncertainty estimation -- crucial in applications like healthcare and weather forecasting. NGBoost generalizes gradient boosting to probabilistic regression by treating the parameters of the conditional distribution as targets for a multiparameter boosting algorithm. Furthermore, we show how the Natural Gradient is required to correct the training dynamics of our multiparameter boosting approach. NGBoost can be used with any base learner, any family of distributions with continuous parameters, and any scoring rule. NGBoost matches or exceeds the performance of existing methods for probabilistic prediction while offering additional benefits in flexibility, scalability, and usability. An open-source implementation is available at github.com/stanfordmlgroup/ngboost.

研究动机与目标

• 动机：在医疗保健和天气预测等回归任务中说明概率回归的必要性以及不确定性量化的需求。
• 提出 NGBoost，一种模块化算法，通过多参数提升和自然梯度将分布参数作为协变量的函数进行学习。
• 证明 NGBoost 在基学习器、分布和评分规则方面具有灵活性，并且具备可扩展性，能够提供具有竞争力的概率预测。
• 通过经验比较 NGBoost 与现有的概率回归方法，并分析消融实验，展示自然梯度和多参数提升的优势。

提出的方法

• 用所选的参数分布 P_theta 表示 P(y|x)，其中 theta 作为 x 的函数学习。
• 在整个数据集上使用合适的评分规则 S（如对数似然 L、CRPS）作为训练目标。
• 通过将普通梯度乘以 Fisher 信息的逆或相应的 S-散度度量，计算自然梯度 tilde{∇}S。
• 在每个提升阶段，拟合基学习器以预测每个参数的自然梯度，然后进行基于线搜索的更新，使用阶段特定的缩放因子 ρ^(m) 和一个共同的学习率 η。
• 迭代 M 个提升阶段，得到 theta = theta^(0) - η sum_m ρ^(m) f^(m)(x)，实现对多个分布参数的同时建模（例如正态分布的 μ 和 log σ）。
• 展示自然梯度的参数化不变性并讨论计算成本（对样本数 N 与参数数 p 呈线性关系；梯度求逆的成本为 p^3）以及实际的微批量处理。

实验结果

研究问题

• RQ1 NGBoost 能否通过将多个分布参数作为协变量的函数联合建模来提供概率预测？
• RQ2 相较于普通梯度或二阶梯度，在多参数提升中，自然梯度是否能改善训练动态和预测不确定性校准？
• RQ3 在多样化数据集和分布下，NGBoost 是否能与最先进的概率回归方法相竞争？
• RQ4 消融（多参数提升、自然梯度、同方差方差假设）对性能有何影响？

主要发现

• NGBoost 在 UCI 回归数据集上的负对数似然（NLL）成绩具有竞争力，相较于 MC dropout、Deep Ensembles、Concrete Dropout、Gaussian Processes、GAMLSS 和 Distributional Forests。
• 消融结果表明，同時使用多参数提升和自然梯度可获得最佳 NLL，超越仅使用其中一个组件的设置。
• 尽管优化目标是 NLL 以获得概率预测，NGBoost 在点估计上也提供具有竞争力的 RMSE。
• 基于自然梯度的学习在样本与参数之间实现了更平衡的更新，避免了普通梯度中出现的过拟合和欠拟合。
• 该方法在分布参数数量和数据集规模上的扩展性，与标准提升相似，额外成本适中。
• NGBoost 保持灵活性，允许各种基学习器、分布和评分规则，并展示出实际可用性与可扩展性。