[论文解读] Sparse and Smooth Prior for Bayesian Linear Regression with Application to ETEX Data

Lukáš Ulrych, Václav Šmídl|arXiv (Cornell University)|Jun 21, 2017

Statistical Methods and Inference参考文献 21被引用 3

一句话总结

本文提出了一种新颖的贝叶斯线性回归模型，采用稀疏且平滑的先验，基于最小二乘自适应先验协方差（LS-APC）框架，实现了在稀疏性与平滑性之间灵活、数据驱动的权衡。该方法在估计复杂、非分段常数的排放分布方面优于贝叶斯融合Lasso（BFL），并在低敏感度区域提供了更保守的不确定性区间，该结论在ETEX大气示踪剂数据中得到验证。

ABSTRACT

Sparsity of the solution of a linear regression model is a common requirement, and many prior distributions have been designed for this purpose. A combination of the sparsity requirement with smoothness of the solution is also common in application, however, with considerably fewer existing prior models. In this paper, we compare two prior structures, the Bayesian fused lasso (BFL) and least-squares with adaptive prior covariance matrix (LS-APC). Since only variational solution was published for the latter, we derive a Gibbs sampling algorithm for its inference and Bayesian model selection. The method is designed for high dimensional problems, therefore, we discuss numerical issues associated with evaluation of the posterior. In simulation, we show that the LS-APC prior achieves results comparable to that of the Bayesian Fused Lasso for piecewise constant parameter and outperforms the BFL for parameters of more general shapes. Another advantage of the LS-APC priors is revealed in real application to estimation of the release profile of the European Tracer Experiment (ETEX). Specifically, the LS-APC model provides more conservative uncertainty bounds when the regressor matrix is not informative.

研究动机与目标

• 为解决高维线性回归中缺乏能联合施加稀疏性与平滑性的贝叶斯先验模型的问题。
• 为LS-APC模型开发一种吉布斯抽样推理算法，此前该模型仅通过变分贝叶斯方法求解。
• 在模拟和基于ETEX数据的真实大气反演建模中，将LS-APC与贝叶斯融合Lasso（BFL）进行比较。
• 评估LS-APC在低敏感度测量条件下的鲁棒性与不确定性量化表现。
• 利用贝叶斯边际似然实现不同测量协方差结构之间的模型选择。

提出的方法

• 提出一种层次先验结构，其中回归系数条件服从正态分布，且具有精度超参数先验，并引入潜相关参数 $ l_i $ 以控制稀疏性与平滑性之间的权衡。
• 将先验协方差建模为 $ \beta_i \sim \mathcal{N}(-l_i \beta_{i+1}, \tau_i^{-1}) $，其中 $ l_i \sim \mathcal{N}(l_0, \psi_i^{-1}) $，从而实现对平滑或稀疏解的自适应收缩。
• 推导出完整的吉布斯抽样算法以实现后验推断与贝叶斯模型选择，从而实现精确的不确定性量化。
• 从准确性和不确定性校准角度，比较LS-APC模型的吉布斯抽样（GS）与变分贝叶斯（VB）近似方法。
• 将该模型应用于ETEX大气示踪剂实验，使用完整与缩减数据集，评估在不同数据信息量条件下的性能表现。
• 利用边际似然（通过变分下界）实现不同测量误差协方差结构之间的模型选择。

实验结果

研究问题

• RQ1 在大气反演建模中，LS-APC先验在估计非分段常数排放分布方面，相较于贝叶斯融合Lasso表现如何？
• RQ2 能否为LS-APC模型有效推导出吉布斯抽样算法，以在不确定性量化方面超越现有的变分贝叶斯方法？
• RQ3 在数据信息量不足的低敏感度时间段，LS-APC的不确定性区间与BFL相比如何？
• RQ4 在真实世界的大气排放估计中，LS-APC模型是否能提供比BFL更保守、更可靠的不确定性估计？
• RQ5 在模型选择与边际似然估计方面，LS-APC的变分贝叶斯近似与吉布斯抽样结果的一致性如何？

主要发现

• 在完整ETEX数据集上，采用吉布斯抽样（LS-APC-GS）的LS-APC模型绝对误差为181.49，低于贝叶斯融合Lasso的233.80，表明其估计精度更优。
• 在ETEX 66数据上，LS-APC-GS的绝对误差为186.52，优于BFL的215.98，尤其在测量敏感度较低的区域表现更优。
• LS-APC-GS方法在信息量不足的时间段（如索引55之前）产生了显著更宽的95%后验可信区间，反映出其不确定性量化比VB或BFL更为保守。
• LS-APC的变分贝叶斯（VB）近似提供了比GS更窄的不确定性区间，但VB的边际似然下界与基于GS的估计高度一致，验证了其在模型选择中的有效性。
• 当缺乏平滑性（即 $ l = 0 $）时，仅使用稀疏性先验的LS-APC模型误差更高（ETEX上为231.19），证实当数据具有信息量时，平滑性有助于提升估计性能。
• 采用自适应 $ l_i $ 估计的LS-APC模型成功捕捉了复杂的排放形态，在真实数据中优于BFL所假设的分段常数形式。