[论文解读] Sparse Autoregressive Processes for Dynamic Variable Selection

Veronika Ročková|arXiv (Cornell University)|Jul 31, 2017

Statistical Methods and Inference被引用 1

一句话总结

本文提出了用于时间序列回归的动态稀疏-混合（DSS）先验，通过平滑的自回归活跃系数与间歇性零系数建模时变系数稀疏性，实现动态变量选择。该方法采用前向滤波与后向抽样进行后验推断，并通过动态EMVS算法实现可扩展性，在大规模时间序列数据集中显著提升了活跃系数与噪声系数的分离效果。

ABSTRACT

We address the problem of dynamic variable selection in time series regression with unknown residual variances, where the set of active predictors is allowed to evolve over time. To capture time-varying variable selection uncertainty, we introduce new dynamic shrinkage priors for the time series of regression coefficients. These priors are characterized by two main ingredients: smooth parameter evolutions and intermittent zeroes for modeling predictive breaks. More formally, our proposed Dynamic Spike-and-Slab (DSS) priors are constructed as mixtures of two processes: a spike process for the irrelevant coefficients and a slab autoregressive process for the active coefficients. The mixing weights are themselves time-varying and depend on lagged values of the series. Our DSS priors are probabilistically coherent in the sense that their stationary distribution is fully known and characterized by spike-and-slab marginals. For posterior sampling over dynamic regression coefficients, model selection indicators as well as unknown dynamic residual variances, we propose a Dynamic SSVS algorithm based on forward-filtering and backward-sampling. To scale our method to large data sets, we develop a Dynamic EMVS algorithm for MAP smoothing. We demonstrate, through simulation and a topical macroeconomic dataset, that DSS priors are very effective at separating active and noisy coefficients. Our fast implementation significantly extends the reach of spike-and-slab methods to large time series data.

研究动机与目标

• 解决时间序列回归中活跃预测变量集合随时间演变的动态变量选择问题。
• 通过允许系数稀疏性平稳且间歇性变化，建模变量选择中的时变不确定性。
• 构建具有已知平稳分布和稀疏-混合边缘分布的概率一致先验结构。
• 通过基于动态EMVS的高效最大后验估计（MAP）实现大规模时间序列数据集的可扩展后验推断。
• 在高维时间序列设置下，提升活跃系数与噪声系数之间的分离效果。

提出的方法

• 提出动态稀疏-混合（DSS）先验，作为稀疏过程（用于无关系数）与板状自回归过程（用于活跃系数）的混合。
• 将混合权重建模为时变且依赖于系数序列的滞后值，以捕捉预测断裂。
• 通过构建平稳分布完全已知且由稀疏-混合边缘分布表征的先验，确保概率一致性。
• 开发动态SSVS算法，利用前向滤波与后向抽样对系数、模型指标和残差方差进行后验抽样。
• 提出动态EMVS算法，用于最大后验估计（MAP）平滑，以实现大规模数据集的可扩展性。
• 利用自回归动态确保活跃系数的平稳演化，同时允许对不活跃系数进行突发性置零，以应对预测断裂。

实验结果

研究问题

• RQ1 动态收缩先验能否有效建模具有未知残差方差的时间序列回归中的时变变量选择？
• RQ2 如何将稀疏-混合先验扩展以在允许系数平稳且间歇性演化的同时确保概率一致性？
• RQ3 所提出的DSS先验在高维时间序列中对活跃系数与噪声系数的分离效果可达到何种程度？
• RQ4 动态SSVS算法在具有复杂依赖结构的动态回归模型后验抽样中表现如何？
• RQ5 动态EMVS算法能否在保持精度的同时，实现对大规模时间序列数据集的可扩展推断？

主要发现

• DSS先验在模拟研究和真实宏观经济数据中均能有效分离活跃系数与噪声系数。
• 动态SSVS算法能够实现对时变系数、模型指标和残差方差的准确后验抽样。
• 动态EMVS算法实现了显著的计算可扩展性，使稀疏-混合方法在大规模时间序列数据集中的应用成为可能。
• DSS先验的平稳分布完全已知，且由稀疏-混合边缘分布表征，确保了概率一致性。
• 该方法通过不活跃系数的间歇性置零，成功捕捉了系数的平稳演化与突发预测断裂。
• 实证结果表明，该方法在时变稀疏性与未知残差方差条件下，均能有效识别相关预测变量。