[论文解读] Understanding the Effect of Bias in Deep Anomaly Detection

Ziyu Ye, Yuxin Chen+1 more|arXiv (Cornell University)|May 16, 2021

Anomaly Detection Techniques and Applications参考文献 26被引用 6

一句话总结

本文研究了有偏标注异常数据对深度异常检测模型的影响，提出了一套形式化框架以量化相对评分偏差。该研究建立了该偏差的有限样本估计速率，并通过实证结果表明，额外的标注异常数据可能提升也可能降低性能，具体取决于分布错位程度，揭示了不同异常类型之间显著的性能差异。

ABSTRACT

Anomaly detection presents a unique challenge in machine learning, due to the scarcity of labeled anomaly data. Recent work attempts to mitigate such problems by augmenting training of deep anomaly detection models with additional labeled anomaly samples. However, the labeled data often does not align with the target distribution and introduces harmful bias to the trained model. In this paper, we aim to understand the effect of a biased anomaly set on anomaly detection. Concretely, we view anomaly detection as a supervised learning task where the objective is to optimize the recall at a given false positive rate. We formally study the relative scoring bias of an anomaly detector, defined as the difference in performance with respect to a baseline anomaly detector. We establish the first finite sample rates for estimating the relative scoring bias for deep anomaly detection, and empirically validate our theoretical results on both synthetic and real-world datasets. We also provide an extensive empirical study on how a biased training anomaly set affects the anomaly score function and therefore the detection performance on different anomaly classes. Our study demonstrates scenarios in which the biased anomaly set can be useful or problematic, and provides a solid benchmark for future research.

研究动机与目标

• 系统理解有偏标注异常数据如何影响深度异常检测模型。
• 形式化异常检测中相对评分偏差的概念，定义为与基准检测器相比的性能差异。
• 推导深度异常检测中相对评分偏差的有限样本估计速率。
• 通过实证评估有偏训练数据对异常评分函数及不同模型和数据集上检测性能的影响。
• 为未来研究提供基准，以评估在训练中使用标注异常数据的风险与收益。

提出的方法

• 将异常检测形式化为监督学习任务，以在固定假阳性率下优化召回率。
• 将相对评分偏差定义为训练检测器与参考基准检测器之间的性能差异。
• 利用统计学习理论推导估计相对评分偏差的有限样本界。
• 在合成数据和三个真实世界数据集（Fashion-MNIST、StatLog (Landsat Satellite)、Cellular Spectrum Misuse）上进行广泛实证验证。
• 使用加权混合训练配置来模拟标注异常数据中不同程度的分布偏移。
• 在不同训练策略下评估六种深度异常检测模型，以衡量不同异常类别间的性能差异。

实验结果

研究问题

• RQ1 当使用的标注异常数据与目标分布不一致时，会对深度异常检测模型的性能产生何种影响？
• RQ2 深度异常检测中估计相对评分偏差的有限样本速率是多少？
• RQ3 在何种情况下，额外的标注异常数据会提升或降低检测性能？
• RQ4 与仅使用正常数据训练相比，使用有偏异常数据训练时，异常评分函数会发生怎样的变化？
• RQ5 在使用有偏标注数据时，不同异常类别之间的性能权衡如何？

主要发现

• 与目标分布不匹配的标注异常数据会引入显著的相对评分偏差，导致不同异常类型间性能差异显著。
• 建立了估计相对评分偏差的有限样本速率，为评估深度异常检测中的偏差提供了理论基础。
• 在Fashion-MNIST数据集中，使用90%运动鞋异常数据训练的模型对运动鞋的TPR达到1.00，但对连衣裙的TPR仅为0.11，表明对分布外异常的性能严重下降。
• 在Cellular Spectrum Misuse数据集中，使用有偏异常数据训练的模型对某些类别实现了0.99的TPR，但对其他类别的TPR降至0.10，凸显了性能的不一致性。
• 研究发现，当标注异常数据与目标分布一致时，其具有积极作用；但当不一致时则具有危害性，性能增益或损失因异常类别而异。
• 实证结果表明，使用有偏数据训练的模型在分布内异常上可实现高TPR（例如靴子的TPR为0.99），但在其他类别上召回率极低（例如长裤的TPR仅为0.06），凸显了分布错位的风险。