[论文解读] Two-Sample Testing for Event Impacts in Time Series

Erik Scharwächter, Emmanuel Müller|arXiv (Cornell University)|Jan 31, 2020

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出EITEST，一种非参数的两样本检验框架，用于在不假设特定检测模型的前提下，检测时间序列与事件发生之间共享的统计信息。通过使用多个两样本检验（基于Kolmogorov-Smirnov或MMD统计量）在事件后逐步增加的滞后时间上检验时间序列值的分布差异，EITEST能够识别单变量、多变量及非数值领域中的信息性时间序列——在模拟实验和社交媒体、智能家居数据等真实应用场景中，其性能优于或至少可与现有方法相媲美。

ABSTRACT

In many application domains, time series are monitored to detect extreme events like technical faults, natural disasters, or disease outbreaks. Unfortunately, it is often non-trivial to select both a time series that is informative about events and a powerful detection algorithm: detection may fail because the detection algorithm is not suitable, or because there is no shared information between the time series and the events of interest. In this work, we thus propose a non-parametric statistical test for shared information between a time series and a series of observed events. Our test allows identifying time series that carry information on event occurrences without committing to a specific event detection methodology. In a nutshell, we test for divergences of the value distributions of the time series at increasing lags after event occurrences with a multiple two-sample testing approach. In contrast to related tests, our approach is applicable for time series over arbitrary domains, including multivariate numeric, strings or graphs. We perform a large-scale simulation study to show that it outperforms or is on par with related tests on our task for univariate time series. We also demonstrate the real-world applicability of our approach on datasets from social media and smart home environments.

研究动机与目标

• 开发一种通用的统计检验方法，用于检测时间序列是否携带关于外生事件的信息，而无需依赖特定的事件检测算法。
• 解决当事件与时间序列之间的关系复杂或微妙（如均值、方差或尾部行为的变化）时，识别信息性时间序列的挑战。
• 实现在任意数据领域（包括多变量数值、字符串和图时间序列）中检测事件影响的能力，其中人工视觉检查不可行。
• 提供一种计算高效的可扩展方法，适用于长时序数据，克服现有独立性检验方法的局限性。

提出的方法

• 该方法将检测时间序列与事件之间共享信息的问题简化为一系列多两样本检验，比较事件发生后不同滞后时间的时间序列值的分布。
• 对于每个滞后时间 k ∈ {1, ..., K}，该方法使用非参数两样本检验，检验给定 E_{t−k} = 1 时 X_t 的分布是否与 E_{t−k} = 0 时不同。
• 提出两种变体：EITEST-KS 使用 Kolmogorov-Smirnov 统计量，EITEST-MMD 使用最大均值差异（MMD）统计量，后者可通过核方法支持任意数据域。
• 通过闭合检验程序控制多个滞后时间下的家庭错误率，确保在多重比较下的统计有效性。
• 该方法在时间序列长度 T 上呈线性关系，使其可扩展至长序列，而其他测试因计算成本过高而失效。
• 该方法与事件检测算法无关，仅专注于识别与事件在统计上相关的时序数据。

实验结果

研究问题

• RQ1 非参数两样本检验框架是否能在不假设特定检测模型的前提下，检测出时间序列与事件发生之间的微弱统计关联？
• RQ2 与现有因果推断和独立性检验方法相比，所提出方法在检测不同类型时间序列行为（如均值漂移、方差变化、尾部分布变厚）的事件影响时表现如何？
• RQ3 该方法能否检测非数值时间序列（如字符串或图）中的事件影响？在这些情况下，核选择需要满足什么条件？
• RQ4 该方法在长时序数据上的可扩展性如何？是否能保持统计效能和计算可行性？

主要发现

• EITEST-KS 和 EITEST-MMD 均在 p < .0001 的显著性水平下拒绝德国推特活动与全球地震之间独立性的原假设，证实存在强烈的统计关联。
• 对于中国地震，EITEST-KS 和 EITEST-MMD 均未拒绝独立性原假设（p 值分别为 .4090 和 .4225），表明德国公众对这些地震的知晓程度有限。
• GC-VAR 检测到与中国地震相关的关联（p = .0090），与 EITEST 结果矛盾，表明该方法可能存在假阳性问题。
• TE-KSG 在不同运行中产生不一致的 p 值，表明其在两项任务中均表现不可靠。
• 在模拟实验中，EITEST 在检测三类事件影响（均值漂移、方差变化、尾部分布变厚）方面优于或至少可与现有方法相媲美。
• 该方法在时间序列长度 T 上呈线性关系，使其能够高效应用于其他测试因计算成本过高而不可行的长序列。