[论文解读] Sequential Drift Detection in Deep Learning Classifiers

Samuel Ackerman, Parijat Dube+1 more|arXiv (Cornell University)|Jul 31, 2020

Data Stream Mining Techniques参考文献 10被引用 5

一句话总结

本文提出了一种基于神经网络嵌入和Cramér-Price-Mann（CPM）序列检验的深度学习分类器顺序漂移检测框架，以控制误报率。通过将漂移检测建模为单变量嵌入差异的序列假设检验，该方法在仅带来适度检测延迟增加的情况下，相比非序列的Mann-Whitney检验，实现了更优的误报率控制，该结论通过一种新型损失函数在多个数据集上得到验证，该损失函数用于平衡延迟与错误率。

ABSTRACT

We utilize neural network embeddings to detect data drift by formulating the drift detection within an appropriate sequential decision framework. This enables control of the false alarm rate although the statistical tests are repeatedly applied. Since change detection algorithms naturally face a tradeoff between avoiding false alarms and quick correct detection, we introduce a loss function which evaluates an algorithm's ability to balance these two concerns, and we use it in a series of experiments.

研究动机与目标

• 解决在部署的深度学习模型中控制数据漂移检测误报率的挑战。
• 改进非序列漂移检测方法（如Mann-Whitney检验），这些方法因重复测试而导致高误报率。
• 开发一种序列统计框架，能够在长时间内保持已知且较低的I类错误率（例如，α = 0.05）。
• 引入一种可定制的损失函数，基于检测延迟和误报率对漂移检测性能进行定量评估。
• 在多种不同的数据漂移场景下，对使用CPM的序列检测与非序列Mann-Whitney检验进行实证比较。

提出的方法

• 该方法使用训练好的深度神经网络倒数第二层的嵌入作为输入数据分布偏移的单变量表示。
• 通过余弦距离或Kullback-Leibler散度等度量，计算当前嵌入分布与基线分布之间的差异。
• 应用Cramér-Price-Mann（CPM）序列变化检测算法，以随时间监控差异，从而实现对误报率的统计控制。
• 该框架将漂移检测视为序列假设检验，其中误报概率由用户定义的显著性水平α限定。
• 引入一种新型损失函数，将检测延迟与误报率相结合，通过可调节权重反映用户优先级。
• 该方法在涉及类别先验概率偏移的15种不同漂移场景下进行了评估，包括线性和阶梯式污染模式。

实验结果

研究问题

• RQ1 与非序列方法（如重复Mann-Whitney检验）相比，CPM等序列变化检测方法是否能有效降低深度学习漂移检测中的误报率？
• RQ2 在不同漂移类型（线性与阶梯式）和数据分布下，检测延迟与误报率之间的权衡如何变化？
• RQ3 自定义损失函数在多大程度上能有效平衡漂移检测算法中的检测速度与误报控制？
• RQ4 使用深度神经网络嵌入是否能实现对高维图像输入中复杂数据漂移的稳健单变量表示？
• RQ5 在哪些场景下，序列方法在整体检测性能上优于非序列的Mann-Whitney方法？

主要发现

• 在所有15种漂移场景中，基于CPM的序列方法实现了零误报，而非序列的Mann-Whitney检验的平均误报率分别为0.089（KLD）和0.315（余弦距离）。
• Mann-Whitney方法的平均检测延迟更低（KLD：14.267 vs. 19.6；余弦距离：12.6 vs. 18.067），但代价是显著更高的误报率。
• 整体损失函数得分始终更低（表现更优）：CPM方法为-0.451（KLD）和-0.426（余弦距离），而Mann-Whitney方法分别为-0.527和-1.366。
• 在极少数情况下，当误报惩罚被大幅降低（C1极低）时，Mann-Whitney方法略优于序列方法，但这种情况仅局限于极小的参数区域。
• 序列方法在多种漂移类型中均保持了强劲性能，包括渐进式（线性）和突发式（阶梯式）污染模式。
• 使用神经网络嵌入成功地将高维图像漂移问题简化为单变量统计监控任务，从而实现了有效的序列分析。