[论文解读] Testing for concept shift online

Vladimir Vovk|arXiv (Cornell University)|Dec 28, 2020

Data Stream Mining Techniques参考文献 11被引用 4

一句话总结

本文提出了一种基于可分解交换性鞅的新型在线方法，用于检测机器学习中的概念漂移，该方法源自预测校准理论。通过将概念漂移的证据与标签漂移的证据分离，该方法实现了显著更强的检测性能——在USPS数据集上实现了10^43的最终鞅值，超越了先前的方法。

ABSTRACT

This note continues study of exchangeability martingales, i.e., processes that are martingales under any exchangeable distribution for the observations. Such processes can be used for detecting violations of the IID assumption, which is commonly made in machine learning. Violations of the IID assumption are sometimes referred to as dataset shift, and dataset shift is sometimes subdivided into concept shift, covariate shift, etc. Our primary interest is in concept shift, but we will also discuss exchangeability martingales that decompose perfectly into two components one of which detects concept shift and the other detects what we call label shift. Our methods will be based on techniques of conformal prediction.

研究动机与目标

• 开发用于检测分类任务中随时间变化的数据分布的在线方法。
• 将交换性鞅分解为可分离概念漂移与标签漂移证据的组件。
• 通过构建对概念漂移高度敏感且完全可分解的鞅，改进现有交换性鞅方法。
• 提供一个实用框架，用于基于可检测的分布漂移决定何时重新训练机器学习模型。
• 将预测校准技术扩展至检测Y→X领域中会破坏ROC分析有效性的危险性漂移。

提出的方法

• 构建在任意交换分布下均为鞅的交换性鞅，从而实现对IID假设违反的在线假设检验。
• 使用标签条件下的符合度度量生成对标签排列不变的p值，确保交换性。
• 对符合度p值应用Sleepy Jumper投注策略，生成在分布漂移发生时增长的非负鞅。
• 将整体鞅分解为两个分量：一个通过条件p值检测概念漂移，另一个通过边缘p值检测标签漂移。
• 采用同类别符合度度量和最近邻符合度度量，探索符合度评分设计对检测性能敏感性的影响。
• 通过定理2将概念漂移和标签漂移的独立鞅组合，保证在IID假设下乘积仍为有效的交换性鞅。

实验结果

研究问题

• RQ1 是否可以构建专门检测概念漂移而非与标签漂移混淆的交换性鞅？
• RQ2 是否可以将交换性鞅分解为分别检测概念漂移和标签漂移的分量？
• RQ3 可分解鞅在检测数据集漂移方面与不可分解鞅相比表现如何？
• RQ4 是否可以在不牺牲对标签漂移敏感性的情况下提升对概念漂移的检测能力？
• RQ5 不同符合度度量对真实世界数据集中交换性鞅最终值的影响是什么？

主要发现

• 由检测概念漂移的鞅与检测标签漂移的鞅相乘所构成的鞅，是一个有效且完全可分解的交换性鞅。
• 在USPS数据集上，可分解鞅的最终值达到约5.16 × 10^43，远超此前的黑鞅记录。
• 图1中的红色（概念漂移）和绿色（标签漂移）鞅表明，该可分解方法在约3000个观测点后全面超越原始黑鞅。
• 使用同类别符合度度量显著提升了对概念漂移的检测能力，但代价是降低了对标签漂移的检测性能。
• 将符合度评分的分母替换为到最近邻的距离（无论类别如何）会导致概念漂移检测性能轻微下降，表明类别相关的距离更具信息量。
• 将图1中的绿色鞅与图2中的红色鞅结合，可得到5.16 × 10^43的最终鞅值，证明了分量级优化的强大效果。