[论文解读] On Multivariate Singular Spectrum Analysis and its Variants

Anish K. Agarwal, Abdullah Alomar+1 more|arXiv (Cornell University)|Jun 24, 2020

Statistical and numerical algorithms被引用 4

一句话总结

本文提出了一种在时空因子模型下的多变量奇异谱分析（mSSA）新型变体，利用低秩汉克尔矩阵结构与奇异值阈值化方法，实现插补与样本外预测的均方误差缩放为 $1/\sqrt{\min(N,T)T}$。该方法通过利用时间与跨序列结构，优于经典SSA（$1/\sqrt{T}$）与矩阵估计方法（$1/\min(N,T)$）。

ABSTRACT

We introduce and analyze a variant of multivariate singular spectrum analysis (mSSA), a popular time series method to impute and forecast a multivariate time series. Under a spatio-temporal factor model we introduce, given $N$ time series and $T$ observations per time series, we establish prediction mean-squared-error for both imputation and out-of-sample forecasting effectively scale as $1 / \sqrt{\min(N, T )T}$. This is an improvement over: (i) $1 /\sqrt{T}$ error scaling of SSA, the restriction of mSSA to a univariate time series; (ii) $1/\min(N, T)$ error scaling for matrix estimation methods which do not exploit temporal structure in the data. The spatio-temporal model we introduce includes any finite sum and products of: harmonics, polynomials, differentiable periodic functions, and Holder continuous functions. Our out-of-sample forecasting result could be of independent interest for online learning under a spatio-temporal factor model. Empirically, on benchmark datasets, our variant of mSSA performs competitively with state-of-the-art neural-network time series methods (e.g. DeepAR, LSTM) and significantly outperforms classical methods such as vector autoregression (VAR). Finally, we propose extensions of mSSA: (i) a variant to estimate time-varying variance of a time series; (ii) a tensor variant which has better sample complexity for certain regimes of $N$ and $T$.

研究动机与目标

• 在存在缺失数据与噪声的条件下，为多变量奇异谱分析（mSSA）在时间序列插补与预测任务中提供严谨的有限样本分析。
• 通过利用时间与跨序列相关性，建立优于现有方法的理论误差界。
• 引入一个时空因子模型，以捕捉谐波、多项式、周期性以及霍尔德连续函数。
• 开发算法扩展，用于时变方差估计与基于张量的mSSA，以提升样本复杂度。

提出的方法

• 提出mSSA的一种变体，通过时间序列数据构建汉克尔矩阵，并应用奇异值阈值化（SVT）以恢复低秩结构。
• 采用时空因子模型，其中每个时间序列是潜在分量乘积的和，从而可通过低秩张量表示。
• 使用Page到汉克尔变换，将时间序列转换为适合矩阵估计的结构化矩阵形式。
• 应用高维矩阵估计技术，包括奇异值阈值化（HSTVT），以恢复缺失或含噪声的观测值。
• 提出mSSA的张量变体（tSSA），将多变量时间序列建模为低秩张量，从而在某些情形下提升样本复杂度。
• 在核心mSSA框架基础上扩展，提出一种时变方差估计方法，以建模条件异方差性。

实验结果

研究问题

• RQ1 在具有缺失数据与噪声的一般时空因子模型下，能否建立mSSA的理论有限样本分析？
• RQ2 所提出的mSSA变体是否在误差缩放上优于经典SSA与矩阵估计方法？
• RQ3 在插补与预测任务中，所提出的mSSA变体与深度学习基线模型（如DeepAR与LSTM）相比表现如何？
• RQ4 mSSA框架能否扩展以估计时间序列中的时变方差？
• RQ5 在高维设置下，mSSA的张量变体（tSSA）是否相比标准mSSA具有更优的样本复杂度？

主要发现

• 所提出的mSSA变体实现了预测均方误差缩放为 $1/\sqrt{\min(N,T)T}$，优于单变量SSA的 $1/\sqrt{T}$ 缩放。
• 在 $N = o(T)$ 的情形下，mSSA变体实现了 $\tilde{\Theta}(1/\sqrt{NT})$ 的误差缩放，其渐近性能优于标准矩阵估计方法的 $\tilde{\Theta}(1/N)$ 缩放。
• 在 $T = o(N)$ 的情形下，mSSA变体实现了 $\tilde{\Theta}(1/T)$ 的误差，优于矩阵估计与tSSA。
• 实验结果表明，该方法在基准数据集上与最先进的神经网络模型（如DeepAR与LSTM）相比表现具有竞争力。
• 当 $N$ 相对于 $T$ 较小时，mSSA的张量变体（tSSA）在某些情形下相比标准mSSA实现了更优的样本复杂度。
• 时变方差估计方法成功捕捉了时间序列中的非恒定条件异方差性，扩展了mSSA的应用范围。