[论文解读] Scalable high-dimensional Bayesian varying coefficient models with unknown within-subject covariance

Ray Bai, Mary Regina Boland+1 more|arXiv (Cornell University)|Jul 15, 2019

Statistical Methods and Inference参考文献 64被引用 6

一句话总结

本文提出非参数变系数稀疏-斯拉克lasso（NVC-SSL），一种可扩展的贝叶斯方法，用于处理具有未知组内相关结构的高维变系数模型。该方法利用函数随机效应灵活建模时间相关性，并采用线性复杂度的ECM算法与近似MCMC算法，实现高效的MAP估计与不确定性量化，从而在高维纵向或函数型数据中实现可靠的变量选择与推断。

ABSTRACT

Nonparametric varying coefficient (NVC) models are useful for modeling time-varying effects on responses that are measured repeatedly for the same subjects. When the number of covariates is moderate or large, it is desirable to perform variable selection from the varying coefficient functions. However, existing methods for variable selection in NVC models either fail to account for within-subject correlations or require the practitioner to specify a parametric form for the correlation structure. In this paper, we introduce the nonparametric varying coefficient spike-and-slab lasso (NVC-SSL) for Bayesian high-dimensional NVC models. Through the introduction of functional random effects, our method allows for flexible modeling of within-subject correlations without needing to specify a parametric covariance function. We further propose several scalable optimization and Markov chain Monte Carlo (MCMC) algorithms. For variable selection, we propose an Expectation Conditional Maximization (ECM) algorithm to rapidly obtain maximum a posteriori (MAP) estimates. Our ECM algorithm scales linearly in the total number of observations $N$ and the number of covariates $p$. For uncertainty quantification, we introduce an approximate MCMC algorithm that also scales linearly in both $N$ and $p$. We demonstrate the scalability, variable selection performance, and inferential capabilities of our method through simulations and a real data application. These algorithms are implemented in the publicly available R package NVCSSL on the Comprehensive R Archive Network.

研究动机与目标

• 解决高维非参数变系数（NVC）模型中缺乏可扩展的贝叶斯方法的问题，且组内相关结构未知。
• 克服经典频率学派惩罚NVC模型的局限性，后者忽略组内相关性或需预设参数化协方差形式。
• 开发一种方法，可在高维NVC模型中实现复杂依赖结构下的同时估计、变量选择与不确定性量化。
• 通过新颖的优化与MCMC算法，确保在协变量数量$p$与总观测数$N$上均具备计算可扩展性。
• 实现对微弱信号的检测，并灵活建模包括平坦与恒定系数函数在内的多样化函数形态。

提出的方法

• 提出NVC-SSL先验，一种非可分的稀疏-斯拉克组lasso先验，用于函数型系数，实现自动稀疏选择，并适应未知平滑性与稀疏性。
• 利用函数随机效应建模组内相关性，避免预设参数化协方差结构的需要。
• 开发期望条件最大化（ECM）算法，实现快速最大后验估计（MAP），在$N$与$p$上均呈线性复杂度。
• 提出近似MCMC算法用于不确定性量化，同样在$N$与$p$上呈线性复杂度，支持后验推断。
• 使用基展开表示平滑系数函数，并在基系数上设置层次先验，以实现收缩与变量选择。
• 在CRAN上公开发布R包NVCSSL，确保方法的可重现性与社区使用。

实验结果

研究问题

• RQ1 能否开发一种贝叶斯高维NVC模型，灵活建模未知组内相关结构，而无需假设参数化相关结构？
• RQ2 在具有复杂时间依赖性的高维NVC模型中，如何高效实现变量选择与估计？
• RQ3 能否设计可扩展的优化与MCMC算法，确保在大规模数据中$N$与$p$均呈线性扩展？
• RQ4 在有限样本中，该方法对微弱信号的检测能力如何？其对多样化函数形态（如平坦、非时变）的恢复能力如何？
• RQ5 在不同组内相关结构下，该方法在变量选择一致性与不确定性量化方面的表现如何？

主要发现

• NVC-SSL方法在ECM算法中实现了$N$与$p$的线性扩展，即使在高维设置下也能实现快速MAP估计。
• 近似MCMC算法同样在$N$与$p$上呈线性扩展，支持大规模数据集中的高效不确定性量化。
• 该方法成功检测到微弱信号，并准确恢复了包括平坦与恒定系数函数在内的广泛函数形态。
• 模拟研究显示，该方法在多样化组内相关结构下均表现出优异的变量选择性能与可靠的函数估计。
• 真实数据应用验证了该方法在高维协变量下复杂纵向或函数型数据场景中的实际应用价值。
• 为NVC-SSL先验下的后验收缩提供了理论支持，建立了适应未知稀疏性与平滑性水平的充分条件。