[论文解读] Online Semi-Supervised Concept Drift Detection with Density Estimation

Chang Tan, Vincent C. S. Lee+1 more|arXiv (Cornell University)|Sep 25, 2019

Data Stream Mining Techniques参考文献 25被引用 4

一句话总结

该论文提出了一种在线半监督框架，通过后验概率密度估计实现流数据中概念漂移的检测，能够在有限标注数据下实现实时检测真实漂移与虚拟漂移。该方法在部分标注环境中保持了强大的漂移检测能力，同时实现了最先进水平的预测性能。

ABSTRACT

Concept drift is formally defined as the change in joint distribution of a set of input variables X and a target variable y. The two types of drift that are extensively studied are real drift and virtual drift where the former is the change in posterior probabilities p(y|X) while the latter is the change in distribution of X without affecting the posterior probabilities. Many approaches on concept drift detection either assume full availability of data labels, y or handle only the virtual drift. In a streaming environment, the assumption of full availability of data labels, y is questioned. On the other hand, approaches that deal with virtual drift failed to address real drift. Rather than improving the state-of-the-art methods, this paper presents a semi-supervised framework to deal with the challenges above. The objective of the proposed framework is to learn from streaming environment with limited data labels, y and detect real drift concurrently. This paper proposes a novel concept drift detection method utilizing the densities of posterior probabilities in partially labeled streaming environments. Experimental results on both synthetic and realworld datasets show that our proposed semi-supervised framework enables the detection of concept drift in such environment while achieving comparable prediction performance to the state-of-the-art methods.

研究动机与目标

• 解决在全量标签不可用的流式环境中概念漂移检测的挑战。
• 在部分标注数据中同时检测真实漂移（p(y|X) 的变化）与虚拟漂移（X 分布变化但不影响 p(y|X)）
• 开发一种可扩展的在线学习框架，在有限监督下保持高预测性能的同时实现漂移检测。
• 克服现有方法的局限性，这些方法要么假设全量标注，要么在半监督设置下无法检测真实漂移。

提出的方法

• 利用后验概率 p(y|X) 的密度估计来检测随时间变化的联合分布变化。
• 应用在线学习机制，随着新数据的到来增量更新密度模型。
• 以半监督方式利用标注数据和未标注数据，估计后验密度，而无需全量标注。
• 通过监测时间窗口内估计后验密度的统计差异来检测概念漂移。
• 使用核密度估计或类似非参数方法，在流式环境中建模随时间演化的后验分布。
• 将漂移检测与模型微调相结合，以在概念漂移下保持预测准确性。

实验结果

研究问题

• RQ1 在流式环境中仅能获取少量标签时，半监督框架能否有效检测概念漂移？
• RQ2 与全监督或无监督方法相比，所提方法在检测真实漂移与虚拟漂移方面的表现如何？
• RQ3 在标注数据有限的情况下，该方法在概念漂移下能多大程度上保持预测性能？
• RQ4 当标签稀缺时，漂移检测机制对后验分布变化的敏感性如何？

主要发现

• 尽管仅使用部分标签，所提方法的预测性能与最先进全监督方法相当。
• 在半监督条件下，该框架在合成数据集和真实世界数据集中成功检测到真实与虚拟概念漂移。
• 后验概率的密度估计即使在标签可用性较低时也能实现可靠的漂移检测。
• 该方法的在线特性使其能够实现实时自适应与检测，而无需从头开始重新训练。