[论文解读] qgam: Bayesian non-parametric quantile regression modelling in R

Matteo Fasiolo, Simon N. Wood+3 more|arXiv (Cornell University)|Jul 7, 2020

Statistical Methods and Inference参考文献 23被引用 6

一句话总结

本论文介绍了 qgam R 包，该包利用广义可加模型（GAMs）实现快速、校准的贝叶斯分位数回归，无需假设响应变量的参数分布。通过平滑分位数损失函数并使用信息核学习（IKL）进行调参的校准贝叶斯推断，qgam 能够实现准确的分位数估计和校准良好的可信区间，在覆盖率和计算效率方面优于 MCMC 和提升方法。

ABSTRACT

Generalized additive models (GAMs) are flexible non-linear regression models, which can be fitted efficiently using the approximate Bayesian methods provided by the mgcv R package. While the GAM methods provided by mgcv are based on the assumption that the response distribution is modelled parametrically, here we discuss more flexible methods that do not entail any parametric assumption. In particular, this article introduces the qgam package, which is an extension of mgcv providing fast calibrated Bayesian methods for fitting quantile GAMs (QGAMs) in R. QGAMs are based on a smooth version of the pinball loss of Koenker (2005), rather than on a likelihood function, hence jointly achieving satisfactory accuracy of the quantile point estimates and coverage of the corresponding credible intervals requires adopting the specialized Bayesian fitting framework of Fasiolo, Wood, Zaffran, Nedellec, and Goude (2020b). Here we detail how this framework is implemented in qgam and we provide examples illustrating how the package should be used in practice.

研究动机与目标

• 开发一种可扩展、快速的 R 方法，用于拟合分位数加性模型（QGAMs），无需对响应变量假设参数分布。
• 解决贝叶斯分位数回归中可信区间频繁覆盖不准确的问题，特别是极端分位数的情况。
• 扩展 mgcv 包，引入一种新框架，支持使用平滑损失函数和高效优化的 QGAMs 快速、校准的贝叶斯推断。
• 提供一个实用的 R 工具，使研究人员能够使用边际似然和经验贝叶斯方法拟合、可视化和验证 QGAMs。

提出的方法

• 该方法使用分位数损失函数的平滑版本以实现高效优化，替代标准的基于似然的方法。
• 通过信息核学习（IKL）框架实施校准的贝叶斯推断，以选择最优学习率，确保可信区间的近似名义覆盖率。
• 回归系数通过在平滑损失上的最大后验估计（MAP）优化进行估计，而超参数则通过使用边际似然的经验贝叶斯方法选择。
• 该框架利用 mgcv 中现有的工具进行平滑项构建，包括循环、自适应和张量积样条，支持灵活的模型设定。
• 通过直接优化避免 MCMC，与现有的贝叶斯或提升方法相比，显著提高了计算速度。
• 模型拟合通过新开发的 R 包 qgam 实现，该包与 mgcv 集成，支持模型检验、预测和诊断工具。

实验结果

研究问题

• RQ1 能否开发一种快速、校准的贝叶斯框架用于分位数加性模型，且无需对响应分布做参数假设？
• RQ2 如何使贝叶斯分位数回归中的可信区间实现恰当的频繁覆盖，特别是针对极端分位数？
• RQ3 能否在保持准确性和校准性的同时，降低贝叶斯分位数回归的计算负担？
• RQ4 qgam 在估计准确性和区间覆盖方面与现有方法（如 MCMC、提升或 quantreg）相比表现如何？

主要发现

• qgam 包成功实现了 QGAMs 的快速、校准贝叶斯框架，在所有分位数（包括极端分位数）中均实现了接近名义水平的可信区间覆盖率。
• 该方法在计算速度和区间覆盖方面优于基于 MCMC 的方法，尤其在尾部分位数中，MCMC 常常出现覆盖不足。
• 在一个真实的电力需求预测示例中，功能型 QGAM 模型（通过 mqgam 拟合）在测试集上的分位数损失低于标准 QGAM，特别是在极端分位数（0.1 和 0.9）上表现更优。
• 温度效应的有效自由度（edf）接近最大可能值（k’），表明将 k 增加至 20 可能会进一步改善中位数分位数的模型拟合。
• 通过 IKL 选择学习率的校准贝叶斯框架可确保可信区间保持适当的覆盖率，避免了标准伪似然方法中常见的覆盖不足问题。
• 该包通过与 mgcv 的集成，支持多种平滑项（如循环、自适应、张量积等），能够灵活建模复杂非线性关系。