[论文解读] The Clever Hans Effect in Anomaly Detection

Jacob Kauffmann, Lukas Ruff+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用 18

一句话总结

本文提出一种可解释人工智能（XAI）框架，用于检测在多种无监督异常检测模型中普遍存在的“聪明汉斯效应”——即异常检测器依赖于虚假的、无关的特征。通过将模型嵌入统一的三层神经网络架构，并使用像素级解释匹配，研究发现聪明汉斯效应广泛存在且由模型结构引起，而非数据驱动；然而，通过简单的模型袋装集成（bagging）可有效减少此类效应，提升检测的鲁棒性与泛化能力。

ABSTRACT

The 'Clever Hans' effect occurs when the learned model produces correct predictions based on the 'wrong' features. This effect which undermines the generalization capability of an ML model and goes undetected by standard validation techniques has been frequently observed for supervised learning where the training algorithm leverages spurious correlations in the data. The question whether Clever Hans also occurs in unsupervised learning, and in which form, has received so far almost no attention. Therefore, this paper will contribute an explainable AI (XAI) procedure that can highlight the relevant features used by popular anomaly detection models of different type. Our analysis reveals that the Clever Hans effect is widespread in anomaly detection and occurs in many (unexpected) forms. Interestingly, the observed Clever Hans effects are in this case not so much due to the data, but due to the anomaly detection models themselves whose structure makes them unable to detect the truly relevant features, even though vast amounts of data points are available. Overall, our work contributes a warning against an unrestrained use of existing anomaly detection models in practical applications, but it also points at a possible way out of the Clever Hans dilemma, specifically, by allowing multiple anomaly models to mutually cancel their individual structural weaknesses to jointly produce a better and more trustworthy anomaly detector.

研究动机与目标

• 探究在无监督异常检测中是否存在‘聪明汉斯效应’——即模型利用虚假相关性，尽管缺乏标注数据。
• 开发一种统一的、可解释人工智能（XAI）框架，适用于多种异常检测模型，以识别驱动预测的关键输入特征。
• 利用像素级真实标注数据量化异常检测中的聪明汉斯效应，将其与数据引发的虚假相关性区分开来。
• 评估集成方法（如袋装）是否能缓解导致聪明汉斯行为的结构性缺陷，从而提升检测性能与鲁棒性。
• 证明在异常检测中，模型结构而非数据是聪明汉斯效应的主要来源，挑战了监督学习中的既有假设。

提出的方法

• 将多种异常检测模型（KDE、自编码器、深度自编码器）嵌入统一的三层神经网络架构中：(i) 特征提取，(ii) 距离计算，(iii) 池化，从而实现一致的解释提取。
• 通过统一架构反向传播计算显著性图，识别对异常分数影响最大的输入特征。
• 使用归一化的L2显著性图量化特征相关性，并通过像素级交并比（IoU）与真实异常标注计算‘聪明汉斯得分’。
• 采用袋装集成策略：对KDE、自编码器和深度自编码器模型的标准化异常分数进行平均，构建联合检测器。
• 在平均前，对各模型的分数在训练数据上进行标准化，使其均值为零、方差为一，以实现公平比较与集成学习。
• 使用相同测试图像可视化并比较各模型的解释，评估特征覆盖范围与真实异常的一致性。

实验结果

研究问题

• RQ1 聪明汉斯效应在无监督异常检测模型中以何种程度显现？其表现形式如何？
• RQ2 异常检测中的聪明汉斯效应主要由数据引发的虚假相关性驱动，还是由模型自身固有的结构限制导致？
• RQ3 统一的XAI框架能否有效应用于多种异常检测模型，以提取并比较特征级解释？
• RQ4 通过袋装方法集成多个异常检测器，是否能减少聪明汉斯效应并提升检测性能与泛化能力？
• RQ5 与单个模型相比，集成模型的解释在特征覆盖范围上如何与真实异常区域对齐？

主要发现

• 聪明汉斯效应在异常检测模型中普遍存在，各模型均表现出独特且由结构引发的策略，依赖于无关特征。
• 异常检测中的聪明汉斯效应主要源于模型架构而非数据中的虚假相关性，该结论在MNIST-C与MVTec数据集上的分析中得到验证。
• 尽管曲线下面积（ROC AUC）得分较低，袋装异常检测器在鲁棒性与泛化能力方面优于单个模型，因其显著减少了聪明汉斯行为。
• 袋装模型的解释展现出更广泛且多样的特征支持，与真实异常区域的IoU更高，表明其与真实异常区域的对齐性更优。
• 在所有MVTec类别中，袋装模型的平均聪明汉斯得分显著低于单个模型，证实其对虚假特征的依赖性降低。
• 统一的XAI框架成功实现了跨模型解释的比较与模型行为的量化，揭示了传统评估方法难以察觉的结构性缺陷。