[论文解读] Reducing statistical time-series problems to binary classification

Daniil Ryabko, Jérémie Mary|arXiv (Cornell University)|Oct 22, 2012

Time Series Analysis and Forecasting参考文献 26被引用 10

一句话总结

本文提出一种通用方法，将复杂的统计时间序列问题（如聚类、同质性检验和三样本问题）转化为二分类任务。通过引入一种新颖的‘望远镜距离’度量来衡量时间序列分布之间的差异，该度量可使用二分类器一致估计，作者在最小假设条件下（平稳遍历过程）实现了普遍一致性，并在合成数据和真实脑机接口数据上表现出强劲的实证性能。

ABSTRACT

We show how binary classification methods developed to work on i.i.d. data can be used for solving statistical problems that are seemingly unrelated to classification and concern highly-dependent time series. Specifically, the problems of time-series clustering, homogeneity testing and the three-sample problem are addressed. The algorithms that we construct for solving these problems are based on a new metric between time-series distributions, which can be evaluated using binary classification methods. Universal consistency of the proposed algorithms is proven under most general assumptions. The theoretical results are illustrated with experiments on synthetic and real-world data.

研究动机与目标

• 解决传统上因强时间依赖性和非独立同分布结构而难以处理的统计时间序列问题，如聚类、同质性检验和三样本问题。
• 通过将这些问题简化为分类任务，弥合理解透彻的二分类方法与复杂时间序列推断之间的差距。
• 开发一种通用且一致的方法，在最小假设下（特别是平稳遍历过程）运行，无需参数模型或有限记忆模型。
• 在混合条件下推导有限样本性能保证，将理论一致性扩展至实际应用场景。
• 在具有挑战性的现实世界数据（如脑机接口信号）上展示该方法的有效性，传统方法在这些数据上会失效。

提出的方法

• 提出一种名为‘望远镜距离’的新距离度量，通过使用递减权重聚合时间序列分布有限维边缘之间的距离。
• 采用希尔伯特半度量 $ d_{\mathcal{H}}(P,Q) = \sup_{h \in \mathcal{H}} |\mathbb{E}_P h - \mathbb{E}_Q h| $ 作为边缘分布之间距离的基准。
• 使用伸缩技术：对所有时间滞后处的 $ d_{\mathcal{H}} $-距离进行求和，权重为 $ w_k = k^{-2} $，以确保收敛性和一致性。
• 利用二分类算法（如SVM）估计望远镜距离，利用 $ d_{\mathcal{H}} $ 可通过分类误差率一致估计的特性。
• 将估计的望远镜距离用作聚类和假设检验中的相似性度量，采用平均链接法和基于距离差异的假设检验。
• 在混合条件下推导有限样本界，确保在数据有限时仍具有性能保证。

实验结果

研究问题

• RQ1 能否仅通过二分类方法一致地解决聚类和同质性检验等统计时间序列问题？
• RQ2 是否可能定义一种在最小假设（如平稳性和遍历性）下一致的时间序列分布间通用距离？
• RQ3 望远镜距离如何通过分类算法从数据中估计？其提供哪些一致性保证？
• RQ4 所提出的方法能否在真实世界中高度依赖的时间序列数据（如BCI信号）上实现竞争性性能？
• RQ5 在混合条件下，能否为聚类和同质性检验推导出有限样本性能界？

主要发现

• 望远镜距离对平稳遍历时间序列分布具有普遍一致性，无需参数模型或有限记忆假设。
• 在长度为1000的合成数据上，该方法聚类准确率达到84%，优于DTW（46%），并匹配或超过其他基线方法。
• 在BCI竞赛III数据集上，所提出的TS_SVM方法对左脚动作达到84%准确率，右脚为81%，字母想象任务为61%，优于DTW，并与监督SVM性能相当。
• 在混合条件下推导出有限样本性能界，为实际应用提供了理论保证。
• 该方法在真实世界BCI数据上表现出强劲的实证性能，传统参数和非参数方法因复杂依赖性和非平稳性而失效。
• 合成实验表明，该方法对长程依赖和非马尔可夫结构具有鲁棒性，特别是在基于无理旋转的时间序列中。