[论文解读] Retrain or not retrain: Conformal test martingales for change-point detection

Vladimir Vovk, Ivan Petej+4 more|arXiv (Cornell University)|Feb 20, 2021

Data Stream Mining Techniques参考文献 14被引用 13

一句话总结

该论文提出了一种基于可交换性检验的顺从性检验鞅框架，用于在线机器学习数据中的变化点检测，利用基于可交换性的鞅方法检测分布漂移并触发模型重训练。该方法引入了Ville、CUSUM和Shiryaev–Roberts三种报警生成程序，在可交换性假设下保证有效性，并在Wine Quality数据集上验证了其经验效率，理想条件下错误报警率低于1%。

ABSTRACT

We argue for supplementing the process of training a prediction algorithm by setting up a scheme for detecting the moment when the distribution of the data changes and the algorithm needs to be retrained. Our proposed schemes are based on exchangeability martingales, i.e., processes that are martingales under any exchangeable distribution for the data. Our method, based on conformal prediction, is general and can be applied on top of any modern prediction algorithm. Its validity is guaranteed, and in this paper we make first steps in exploring its efficiency.

研究动机与目标

• 为在线机器学习系统中自动检测数据分布漂移提供关键支持。
• 开发一种在数据流可交换性假设下有效的非参数检验方法，该方法推广了独立同分布（IID）假设。
• 基于顺从性检验鞅设计实用的重训练触发机制，实现有效性与检测效率之间的平衡。
• 评估并比较Ville、CUSUM和Shiryaev–Roberts程序在检测概念漂移和协变量漂移方面的性能。
• 提供一种可应用于任意预测算法的框架，无需进行模型特定的调整。

提出的方法

• 利用从数据序列中提取的归纳性符合度评分和顺从性p值构建可交换性鞅。
• 使用Ville程序在鞅超过预设阈值时发出报警，确保在可交换性假设下的有效性。
• 引入顺从性CUSUM和Shiryaev–Roberts程序，通过监测当前与历史鞅值的比值来检测早期漂移。
• 实施两种重训练策略：可变周期和固定周期，结合多个鞅和报警类型以增强鲁棒性。
• 通过理想（可交换性）条件下的模拟校准报警阈值，使用Clopper–Pearson方法计算置信区间。
• 采用三重交叉验证：在两组数据上训练顺从性鞅，第三组用于监控可交换性违规情况。

实验结果

研究问题

• RQ1 在违反独立同分布（IID）假设的在线环境中，顺从性检验鞅能否可靠检测数据分布漂移？
• RQ2 在可交换性假设下，Ville、CUSUM和Shiryaev–Roberts程序在检测速度和错误报警率方面如何比较？
• RQ3 在保证有效性的同时，使检测效率最大化的报警触发最优阈值是什么？
• RQ4 如何利用顺从性预测设计一种在实践中既有效又高效的重训练策略？
• RQ5 所提出的框架能否推广至任意预测算法而无需进行模型特定的修改？

主要发现

• Ville程序在测试初期表现有效，但随时间推移灵敏度下降，效率降低。
• 顺从性CUSUM和Shiryaev–Roberts程序相比Ville程序显著提升了检测效率。
• 对于目标寿命 $ C = 10^6 $，将CUSUM阈值设为 $ f = 4 \times 10^5 $ 可确保在理想可交换性设定下错误报警概率不超过1%。
• 固定训练周期策略的总错误报警概率不超过3%，其中每个组件（Ville和CUSUM）的错误报警概率均不超过1.5%。
• 基于 $ 10^5 $ 次模拟，使用Clopper–Pearson方法计算的错误报警率置信区间，验证了阈值校准的有效性。
• 该框架在可交换性条件下保持有效性，可通过顺从性预测应用于任意预测算法，确保统计可靠性。