[论文解读] On Bayesian quantile regression curve fitting via auxiliary variables

J.-L. Dortet-Bernadet, Yanan Fan|arXiv (Cornell University)|Feb 27, 2012

Statistical Methods and Inference参考文献 33被引用 5

一句话总结

本文提出了一种完全自动化的贝叶斯分位数回归方法，利用辅助变量和样条函数，其中节点数量和位置未知。通过利用正态分布的尺度混合表示法，并结合高效的吉布斯内梅特罗波利斯-哈斯金斯采样器，该方法实现了稳健的非交叉分位数曲线拟合，无需可逆跳跃MCMC或似然近似，且通过后处理步骤确保了分位数之间的单调性。

ABSTRACT

Quantile regression has received increased attention in the statistics community in recent years. This article adapts an auxiliary variable method, commonly used in Bayesian variable selection for mean regression models, to the fitting of quantile regression curves. We focus on the fitting of regression splines, with unknown number and location of knots. We provide an efficient algorithm with Metropolis-Hastings updates whose tuning is fully automated. The method is tested on simulated and real examples and its extension to additive models is described. Finally we propose a simple postprocessing procedure to deal with the problem of the crossing of multiple separately estimated quantile curves.

研究动机与目标

• 在贝叶斯框架下解决使用未知节点位置和数量的平滑分位数回归曲线拟合挑战。
• 通过引入辅助变量方法，克服可逆跳跃MCMC和似然近似在分位数回归中的局限性。
• 开发一种完全自动化的MCMC算法，采用自调优的梅特罗波利斯-哈斯金斯提议，以提高计算效率和可用性。
• 通过后处理程序确保非交叉分位数曲线，该程序基于单调性约束对MCMC样本进行重新加权。
• 将该方法扩展至加法模型，实现具有灵活曲线拟合能力的多变量分位数回归。

提出的方法

• 使用辅助变量表示法重新参数化非对称拉普拉斯似然，从而实现共轭先验，并对回归和方差参数进行解析边缘化。
• 使用具有未知节点数量和位置的回归样条函数建模分位数曲线，通过包含截断幂次项的基函数表示。
• 实现吉布斯内梅特罗波利斯-哈斯金斯采样器，条件性地更新参数，并利用自调优算法自动调节提议方差。
• 利用非对称拉普拉斯分布的尺度混合正态表示法，以促进高效的后验计算。
• 应用后处理步骤，通过指示函数强制执行 $ f_{p_1}(x) < f_{p_2}(x) $（当 $ p_1 < p_2 $ 时），对来自独立分位数拟合的MCMC样本进行重新加权，以确保非交叉曲线。
• 在来自独立分位数模型的合并MCMC样本上使用重要性抽样，以估计受约束的分位数曲线后验期望。

实验结果

研究问题

• RQ1 当样条节点的数量和位置未知时，如何高效地执行贝叶斯分位数回归？
• RQ2 辅助变量方法是否能够消除在非参数样条分位数回归中对复杂可逆跳跃MCMC的需求？
• RQ3 如何在完全自动化的方式下实现分位数回归中梅特罗波利斯-哈斯金斯提议的自动调优？
• RQ4 一种有效的后处理策略是什么，可用于强制执行估计分位数曲线之间的非交叉性？
• RQ5 所提出的方法是否能自然地扩展至具有多个预测变量的加法分位数回归模型？

主要发现

• 所提出的辅助变量方法可在无需边际似然近似或可逆跳跃MCMC的情况下，实现高效的贝叶斯分位数回归后验计算。
• 采用自调优提议方差的完全自动化MCMC采样器相比标准MCMC方法，显著提升了收敛速度和可用性。
• 该方法成功拟合了节点数量和位置未知的平滑分位数曲线，已在模拟数据和真实数据集上得到验证。
• 后处理程序通过基于单调性约束对MCMC样本进行重新加权，有效实现了非交叉分位数曲线，且计算开销极低。
• 该方法可轻松扩展至加法模型，支持具有多个协变量的灵活非参数分位数回归。
• 公式（16）中的约束估计量提供了可靠的非交叉分位数曲线，但当约束排除过多样本时性能会下降，此时需要更多的MCMC抽样。