[论文解读] Neural Transformation Learning for Deep Anomaly Detection Beyond Images

Qiu Chen, Timo Pfrommer+3 more|arXiv (Cornell University)|Mar 30, 2021

Anomaly Detection Techniques and Applications参考文献 55被引用 22

一句话总结

该论文提出NeuTraL AD，一种自监督异常检测方法，通过端到端学习时间序列和表格数据的最优数据变换，利用确定性对比损失确保语义一致性和视图多样性。该方法在性能上达到最先进水平，在癫痫时间序列数据上AUC提升10个百分点，在心律失常表格数据上F1提升2.9个百分点，优于先前方法。

ABSTRACT

Data transformations (e.g. rotations, reflections, and cropping) play an important role in self-supervised learning. Typically, images are transformed into different views, and neural networks trained on tasks involving these views produce useful feature representations for downstream tasks, including anomaly detection. However, for anomaly detection beyond image data, it is often unclear which transformations to use. Here we present a simple end-to-end procedure for anomaly detection with learnable transformations. The key idea is to embed the transformed data into a semantic space such that the transformed data still resemble their untransformed form, while different transformations are easily distinguishable. Extensive experiments on time series demonstrate that our proposed method outperforms existing approaches in the one-vs.-rest setting and is competitive in the more challenging n-vs.-rest anomaly detection task. On tabular datasets from the medical and cyber-security domains, our method learns domain-specific transformations and detects anomalies more accurately than previous work.

研究动机与目标

• 解决在时间序列和表格数据等非图像数据中设计有效数据变换的挑战。
• 开发一种自监督方法，联合学习有用的变换和异常检测表征，无需依赖人工设计或预定义的增强方法。
• 通过端到端学习针对数据领域定制的变换，超越图像数据的异常检测性能。
• 通过引入确保语义保真度和视图多样性的确定性对比损失，消除对抗训练或正则化的需求。

提出的方法

• 该方法使用一组可学习的神经变换应用于输入数据，每种变换通过可微函数（如前馈、残差、乘法）参数化，并使用可学习掩码进行控制。
• 引入确定性对比损失（DCL）以联合训练变换和编码器，确保变换视图保留语义内容，同时彼此可区分。
• DCL目标避免负采样和噪声分布，使其非随机化，可直接用作异常分数。
• 编码器将原始样本和变换样本嵌入共享语义空间，其中对比损失促使正样本对（原始与变换）彼此靠近，而不同视图则彼此远离。
• 模型通过反向传播进行端到端训练，最终异常分数直接从DCL目标函数导出，实现无需额外阈值设定的直接推理。
• 变换数量K为超参数，当K超过10后性能持续提升并趋于稳定。

实验结果

研究问题

• RQ1 可学习的神经变换是否能提升在时间序列和表格数据等非图像数据上的自监督异常检测性能？
• RQ2 与依赖负采样的标准对比损失相比，确定性对比损失在异常检测性能和训练稳定性方面表现如何？
• RQ3 变换参数化方式（如前馈、残差、乘法）以及变换数量K对检测准确率有何影响？
• RQ4 该方法是否能在无需领域特定增强设计的情况下，泛化到多种不同的数据类型？

主要发现

• 在癫痫时间序列数据集上，NeuTraL AD将AUC从82.6%（SOTA）提升至92.6%，提升10个百分点。
• 在心律失常表格数据集上，NeuTraL AD实现了60.3%的F1分数，较先前SOTA方法GOAD提升2.9个百分点。
• 在所有评估的数据集中，该方法在一对一和多对多异常检测设置下均优于所有基线方法，包括OC-SVM、LOF、DAGMM、GOAD和DROCC。
• 随着变换数量K的增加，性能持续提升，并在K超过约10后趋于稳定，表明学习到的变换具有足够的多样性。
• 当K足够大时，NeuTraL AD对不同变换参数化方式（前馈、残差、乘法）均表现出鲁棒性，显示出在不同架构间的良好泛化能力。
• 确定性对比损失可直接用作异常分数，无需额外的阈值设定或校准步骤。