[论文解读] Spectral Subsampling MCMC for Stationary Time Series

Robert Salomone, Matias Quiroz+3 more|arXiv (Cornell University)|Oct 30, 2019

Markov Chains and Monte Carlo Methods参考文献 39被引用 6

一句话总结

本文提出谱子采样MCMC方法，通过在频率域对周期图数据进行子采样，加速大规模平稳时间序列的贝叶斯推断，其中观测值渐近独立。该方法利用Whittle似然函数和基于分组与coreset的新控制变量，实现了高达两个数量级的速度提升，且偏差可忽略不计。

ABSTRACT

Bayesian inference using Markov Chain Monte Carlo (MCMC) on large datasets has developed rapidly in recent years. However, the underlying methods are generally limited to relatively simple settings where the data have specific forms of independence. We propose a novel technique for speeding up MCMC for time series data by efficient data subsampling in the frequency domain. For several challenging time series models, we demonstrate a speedup of up to two orders of magnitude while incurring negligible bias compared to MCMC on the full dataset. We also propose alternative control variates for variance reduction based on data grouping and coreset constructions.

研究动机与目标

• 解决具有时间依赖性的大规模时间序列中MCMC计算缓慢的问题，其中标准数据子采样方法因缺乏独立性而失效。
• 通过将数据转换到频率域，将此前仅适用于独立或i.i.d.数据的可扩展MCMC技术扩展至平稳时间序列。
• 利用数据分组与coreset构造方法，开发高效的控制变量，以降低似然估计器的方差，提升MCMC效率。
• 在ARFIMA、ARTFIMA和随机波动率等复杂模型上，验证该方法在准确性与可扩展性方面的表现，其中全数据MCMC计算上不可行。

提出的方法

• 使用快速傅里叶变换（FFT）将时间序列数据转换到频率域，将时间域中具有依赖性的观测值转化为渐近独立的周期图值。
• 采用Whittle似然近似，将对数似然视为频率域周期图值之和，即使在时间域存在依赖性的情况下，仍可实现子采样。
• 通过在Whittle似然中随机选择一组频率分量来估计对数似然，实现子采样子MCMC，从而降低每次MCMC迭代的计算成本。
• 提出一种基于泰勒级数的控制变量，通过在参考参数值附近近似单个对数似然项，以降低方差。
• 提出一种分组策略，使分组后的对数似然项更具二次性，从而提升控制变量性能，尤其在复杂模型中表现更优。
• 对于大组，当二次近似失效时，应用coreset构造方法（Campbell & Broderick, 2018）来近似分组后的对数似然，增强方法的鲁棒性。

实验结果

研究问题

• RQ1 能否将数据子采样技术扩展到时间域中具有依赖性的平稳时间序列？
• RQ2 当与频率域子采样结合时，Whittle似然近似在实现大规模时间序列高效MCMC方面效果如何？
• RQ3 基于分组与coreset的控制变量在多大程度上降低了似然估计器的方差，并提升了MCMC收敛性？
• RQ4 与全数据MCMC相比，谱子采样MCMC在恢复后验分布与真实谱密度方面准确性如何？
• RQ5 该方法能否在复杂模型（如长记忆或随机波动率过程）中实现显著的计算加速——高达两个数量级——而不会引入显著偏差？

主要发现

• 所提出的谱子采样MCMC在Whittle似然上相比全数据MCMC实现了高达两个数量级的速度提升，实验中相对计算时间降低了近100倍。
• 通过谱子采样MCMC获得的后验分布与全数据MCMC结果几乎无法区分，证实了近似方法的偏差可忽略不计。
• 基于泰勒级数的控制变量显著降低了方差，提升了MCMC效率，尤其在ARFIMA和ARTFIMA-SV等复杂模型中表现突出。
• 对数似然项的分组策略提升了控制变量性能，相较于单个项近似，能更有效地降低方差，尤其在高维或非高斯设定下。
• 该方法在模拟的ARFIMA(2,1)数据中准确恢复了真实谱密度，验证了Whittle近似的有效性与子采样方法的鲁棒性。
• 基于coreset的控制变量虽不如泰勒级数变体有效，但仍能实现方差降低，并在分组项非近似二次时增强稳定性。