[论文解读] The Arrow of Time in Multivariate Time Series

Stefan Bauer, Bernhard Schölkopf+1 more|arXiv (Cornell University)|Mar 2, 2016

Blind Source Separation Techniques参考文献 17被引用 6

一句话总结

本文证明了由非高斯创新项驱动的线性VARMA过程生成的多变量时间序列在时间方向上是可识别的，这是由于时间可逆性被破坏所致，为检测时间之箭提供了理论基础。该方法通过HSIC进行残差独立性检验，可在温和的正则性条件下一致地推断出正确的时间方向，将单变量结果扩展至多变量设置，并在真实世界数据上表现出更优性能。

ABSTRACT

We prove that a time series satisfying a (linear) multivariate autoregressive moving average (VARMA) model satisfies the same model assumption in the reversed time direction, too, if all innovations are normally distributed. This reversibility breaks down if the innovations are non-Gaussian. This means that under the assumption of a VARMA process with non-Gaussian noise, the arrow of time becomes detectable. Our work thereby provides a theoretic justification of an algorithm that has been used for inferring the direction of video snippets. We present a slightly modified practical algorithm that estimates the time direction for a given sample and prove its consistency. We further investigate how the performance of the algorithm depends on sample size, number of dimensions of the time series and the order of the process. An application to real world data from economics shows that considering multivariate processes instead of univariate processes can be beneficial for estimating the time direction. Our result extends earlier work on univariate time series. It relates to the concept of causal inference, where recent methods exploit non-Gaussianity of the error terms for causal structure learning.

研究动机与目标

• 建立理论条件，以确定多变量时间序列的方向是否可从其动态特性中识别。
• 将单变量时间方向推断方法扩展至具有线性自回归移动平均（VARMA）过程的多变量时间序列。
• 为一种基于残差独立性检验推断时间方向的实际算法提供一致性证明。
• 研究样本大小、维度和过程阶数如何影响时间方向估计的性能。
• 展示多变量建模相较于单变量方法在真实世界时间序列数据中的优势。

提出的方法

• 本文使用具有独立同分布创新项的线性VARMA过程对多变量时间序列进行建模，假设弱平稳性与因果结构。
• 证明VARMA模型的时间可逆性仅在创新项为高斯分布时成立，因此在非高斯情况下被破坏，从而实现时间方向的检测。
• 提出一种实用算法：对数据拟合VARMA模型，并在正向与反向时间方向上检验残差与过去值之间的条件独立性。
• 该方法使用带有高斯核的希尔伯特-施密特独立性准则（HSIC）来检验残差与过去观测值之间的依赖性。
• 在统一混合条件及真实模型被正确指定的假设下，证明了该算法的一致性。
• 通过矩阵传递函数表示和Darmois-Skitovich定理，将理论结果从VARMA(1,1)推广至更高阶过程。

实验结果

研究问题

• RQ1 在何种条件下，多变量时间序列的时间方向可从其统计特性中识别？
• RQ2 当创新项为非高斯时，VARMA过程的时间可逆性是否会被破坏？这一现象能否用于推断正确的时间方向？
• RQ3 时间方向推断的性能如何受样本大小、维度和过程阶数的影响？
• RQ4 与单变量方法相比，多变量建模是否能提升时间方向估计的性能？
• RQ5 在模型误设或数据依赖的情况下，所提出的算法是否仍具有一致性？

主要发现

• 当且仅当创新项为非高斯分布时，多变量VARMA过程的时间方向是可识别的，因为非高斯性导致时间可逆性失效。
• 基于HSIC的残差独立性检验的所提算法在统一混合条件和正确模型指定下具有一致性。
• 实证结果表明，与单变量方法相比，多变量建模显著提升了时间方向估计的性能，尤其在高维场景下表现更优。
• 该方法在模型误设情况下仍具鲁棒性，通常导致“无法判断”的结果而非错误推断。
• 性能随样本量增大和维度提高而改善，尤其当至少一个创新分量为非高斯时更为明显。
• 该理论框架将Peters等人（2009）的单变量结果推广至多变量时间序列，并为Pickup等人（2014）提出的视频方向推断方法提供了事后理论依据。