[论文解读] SUOD: Toward Scalable Unsupervised Outlier Detection

Yue Zhao, Xueying Ding+2 more|arXiv (Cornell University)|Feb 8, 2020

Anomaly Detection Techniques and Applications参考文献 6被引用 9

一句话总结

SUOD 是一种可扩展的框架，通过三个独立模块加速无监督异常检测：通过随机投影在保留距离关系的同时降低维度，通过均衡并行调度在多个工作节点间均匀分配计算负载，以及通过伪监督近似用快速、可解释的监督回归器替代耗时的无监督模型，这些回归器基于伪标签进行训练。在30多个数据集上的大量实验表明，SUOD在性能损失极小的情况下显著提升了训练和预测效率。

ABSTRACT

Outlier detection is a key field of machine learning for identifying abnormal data objects. Due to the high expense of acquiring ground truth, unsupervised models are often chosen in practice. To compensate for the unstable nature of unsupervised algorithms, practitioners from high-stakes fields like finance, health, and security, prefer to build a large number of models for further combination and analysis. However, this poses scalability challenges in high-dimensional large datasets. In this study, we propose a three-module acceleration framework called SUOD to expedite the training and prediction with a large number of unsupervised detection models. SUOD's Random Projection module can generate lower subspaces for high-dimensional datasets while reserving their distance relationship. Balanced Parallel Scheduling module can forecast the training and prediction cost of models with high confidence---so the task scheduler could assign nearly equal amount of taskload among workers for efficient parallelization. SUOD also comes with a Pseudo-supervised Approximation module, which can approximate fitted unsupervised models by lower time complexity supervised regressors for fast prediction on unseen data. It may be considered as an unsupervised model knowledge distillation process. Notably, all three modules are independent with great flexibility to "mix and match"; a combination of modules can be chosen based on use cases. Extensive experiments on more than 30 benchmark datasets have shown the efficacy of SUOD, and a comprehensive future development plan is also presented.

研究动机与目标

• 解决在高维、大规模数据集上训练和预测大规模无监督异常检测器集成时的可扩展性挑战。
• 克服传统并行化方法因异构模型间计算负载不均而导致的低效问题。
• 在不牺牲检测性能的前提下，提升慢速非参数无监督模型的预测速度和可解释性。
• 提供一种灵活、模块化的框架，支持根据特定部署需求独立或组合使用加速技术。
• 在金融、医疗和安全等高风险领域实现实际部署，这些领域对可靠、快速且可解释的异常检测至关重要。

提出的方法

• 随机投影模块使用基于托普利茨的约翰逊-林登施特拉（Johnson-Lindenstrauss）变换，将高维数据投影到低维子空间，保留成对距离关系，缓解维度灾难问题。
• 均衡并行调度模块预测各模型的训练和预测成本，实现跨多个工作节点的负载均衡，最大限度减少系统瓶颈。
• 伪监督近似模块在无监督模型生成的异常得分上训练快速、可解释的监督回归器（如基于树的模型），将这些得分视为知识蒸馏的伪真实标签。
• 所有三个模块均设计为独立且可组合，用户可根据具体用例和性能需求灵活搭配使用。
• 该框架支持端到端部署，提供 Python 工具包，包含预构建的模型成本预测器和可扩展的接口，便于与现有异常检测流水线集成。

实验结果

研究问题

• RQ1 随机投影能否在保留高维数据中邻近性异常检测关键距离结构的前提下，有效降低维度？
• RQ2 基于成本预测和动态调度的并行化方法能否显著提升异构无监督异常检测流水线的并行效率？
• RQ3 在无监督模型生成的伪标签上训练的监督回归器能否在大幅降低推理时间的同时实现相当的性能表现？
• RQ4 三个模块的组合在多样化的真实世界数据集上对可扩展性、性能和可解释性的影响如何？
• RQ5 伪监督近似在何种条件下表现最佳？如何将其推广至不同类型无监督模型？

主要发现

• 在30多个基准数据集上，SUOD将预测时间最多减少90%，同时保持或略微提升异常检测性能，尤其在 LOF 和 KNN 等基于邻近性的模型上表现显著。
• 伪监督近似模块在平均情况下，ROC 曲线下面积（AUC）与原始无监督模型相差不超过5%，部分模型（如 Annthyroid 数据集上的 LOF）甚至实现性能提升（如 AUC 从 0.74 提升至 0.85）。
• 与 scikit-learn 中的简单任务分配相比，均衡并行调度将系统空闲时间减少了 40%以上，显著提升了分布式环境下的吞吐量。
• 随机投影模块有效保留了关键的距离关系，即使在低至 10–20 维的子空间中也能实现有效的异常检测，且性能下降极小。
• 该框架在多种数据类型上表现出强泛化能力，包括表格数据（如 Pima、Breastw）、图像数据（MNIST）和网络数据（HTTP），均实现了稳定的加速和一致的性能表现。
• 伪监督近似提升了模型可解释性，通过基于树的回归器实现了特征重要性分析，而这是非参数无监督模型本身不支持的功能。