[论文解读] On the Detection of Concept Changes in Time-Varying Data Stream by Testing Exchangeability

Shen-Shyang Ho, Harry Wechsler|arXiv (Cornell University)|Jul 4, 2012

Data Stream Mining Techniques参考文献 9被引用 7

一句话总结

本文提出了一种基于鞅的的概念漂移检测方法，利用Doob极大不等式在时变数据流中测试数据的可交换性，近似实现序贯概率比检验（SPRT）。该方法在合成数据流和基准数据流中均能有效检测概念漂移，检测延迟低，且可通过阈值控制实现可调的统计功效。

ABSTRACT

A martingale framework for concept change detection based on testing data exchangeability was recently proposed (Ho, 2005). In this paper, we describe the proposed change-detection test based on the Doob's Maximal Inequality and show that it is an approximation of the sequential probability ratio test (SPRT). The relationship between the threshold value used in the proposed test and its size and power is deduced from the approximation. The mean delay time before a change is detected is estimated using the average sample number of a SPRT. The performance of the test using various threshold values is examined on five different data stream scenarios simulated using two synthetic data sets. Finally, experimental results show that the test is effective in detecting changes in time-varying data streams simulated using three benchmark data sets.

研究动机与目标

• 开发一种在演化数据流中检测概念变化的统计原理方法。
• 建立可交换性检验与序贯概率比检验（SPRT）之间的联系，以提高检测的可靠性。
• 分析检测阈值、统计功效与平均延迟时间之间的权衡关系。
• 在具有不同漂移特征的多样化数据流场景中评估该方法的性能。
• 提供一种实用且计算高效的在线概念漂移检测框架，适用于流式计算环境。

提出的方法

• 该方法采用鞅框架，评估随时间推移的数据可交换性，将数据流视为一列随机变量。
• 应用Doob极大不等式推导出检测可交换性偏离的停止规则，以指示潜在的概念漂移。
• 该检验被证明可近似序贯概率比检验（SPRT），从而实现对第一类和第二类错误率的理论控制。
• 基于SPRT近似推导出阈值，以在检测速度与可靠性之间实现平衡。
• 通过SPRT的平均样本数（ASN）估算检测的平均延迟时间，为灵敏度提供性能度量。
• 在多种漂移场景下，对合成数据流和基准数据集进行评估，以验证其鲁棒性。

实验结果

研究问题

• RQ1 如何将可交换性检验形式化为用于概念漂移检测的序贯假设检验？
• RQ2 所提出的基于鞅的检验与序贯概率比检验（SPRT）之间存在何种理论关系？
• RQ3 阈值如何影响该方法的统计功效与检测平均延迟？
• RQ4 该方法在具有不同漂移模式的多样化数据流场景中表现如何？
• RQ5 该方法能否在真实世界和合成基准数据流中可靠检测概念变化？

主要发现

• 基于Doob不等式的可交换性检验与序贯概率比检验（SPRT）高度近似，从而实现理论上的性能保证。
• 检验中的阈值与检验的大小和功效直接相关，可实现对误报与检测灵敏度之间权衡的可控调节。
• 检测前的平均延迟时间通过SPRT的平均样本数（ASN）估算，为响应速度提供定量度量。
• 该方法在使用两个合成数据集的五个模拟数据流场景中表现出有效的检测性能。
• 实验结果证实，该方法在三个基准数据流数据集上具有鲁棒性和有效性，能可靠检测概念漂移。
• 由于其在线、序贯的性质以及较低的计算开销，该框架支持实时应用。