[论文解读] Scalable Anomaly Detection in Large Homogenous Populations

Henrik Ohlsson, Tianshi Chen+3 more|arXiv (Cornell University)|Sep 20, 2013

Anomaly Detection Techniques and Applications参考文献 23被引用 4

一句话总结

本文提出了一种用于大规模同质群体异常检测的分布式、可扩展优化方法，通过将多假设问题重新表述为稀疏优化任务。基于组套索正则化的凸松弛方法使系统间可实现分布式计算，在特定条件下实现精确恢复，并消除了对训练数据集或正常行为先验模型的需求。

ABSTRACT

Anomaly detection in large populations is a challenging but highly relevant problem. The problem is essentially a multi-hypothesis problem, with a hypothesis for every division of the systems into normal and anomal systems. The number of hypothesis grows rapidly with the number of systems and approximate solutions become a necessity for any problems of practical interests. In the current paper we take an optimization approach to this multi-hypothesis problem. We first observe that the problem is equivalent to a non-convex combinatorial optimization problem. We then relax the problem to a convex problem that can be solved distributively on the systems and that stays computationally tractable as the number of systems increase. An interesting property of the proposed method is that it can under certain conditions be shown to give exactly the same result as the combinatorial multi-hypothesis problem and the relaxation is hence tight.

研究动机与目标

• 解决在系统组合数量呈组合爆炸性增长的大规模群体中，多假设异常检测的计算不可行性问题。
• 通过在系统间分散计算，设计一种可随群体规模高效扩展的分布式算法。
• 通过联合估计正常动态并检测异常，消除对预存在的训练数据集或已知正常模型的需求。
• 利用压缩感知理论，证明在特定条件下凸松弛的紧致性，从而为解的质量提供理论保证。

提出的方法

• 将异常检测问题表述为非凸组合优化任务，其中每个假设对应一组异常系统。
• 使用范数和正则化（等价于组套索）将组合问题松弛为凸优化问题，通过促进个体系统参数相对于全局正常模型的偏差稀疏性。
• 实现一种分布式算法（算法1），以去中心化方式求解松弛问题，每个系统独立求解局部优化子问题，且与群体规模无关。
• 使用正则化参数 λ 控制稀疏性，通过选择相对于标称模型具有非零参数偏差的系统，识别最可能异常的系统。
• 利用压缩感知理论的理论结果，证明在特定条件下凸松弛是紧致的，即能精确恢复原始组合问题的解而无近似误差。
• 将该方法应用于飞机机队的真实世界数据，展示了在每架飞机500次飞行的200架飞机机队上的可扩展性和准确性。

实验结果

研究问题

• RQ1 能否设计一种可扩展且分布式的优化框架，以解决大规模同质群体中的多假设异常检测问题？
• RQ2 在何种条件下，组合异常检测问题的凸松弛能与原始非凸问题获得相同解？
• RQ3 如何在无需训练数据集或对正常系统动态先验知识的情况下实现异常检测？
• RQ4 与现有基于模型的方法相比，该方法在计算效率和结果可解释性方面有多大的优势？

主要发现

• 所提方法仅使用每架飞机500次飞行数据，即在200架飞机的机队中精确匹配真实情况，成功识别出3架真实异常飞机。
• 分布式算法在15次迭代内收敛，正则化参数 λ = 150 时，正确标记出第27架、第161架和第183架飞机为异常。
• 在特定条件下，凸松弛在理论上是紧致的，意味着可无近似误差地恢复原始组合问题的精确解。
• 与文献[11]中使用Tikhonov正则化的方法不同，后者即使对正常系统也始终产生非零偏差，而本方法采用组套索可在 λ 足够大时使正常系统产生零偏差。
• 该方法避免了阈值设定或额外调参，因为稀疏性诱导正则化可自然选择异常系统。
• 每架系统的计算成本与群体规模无关，使该方法具有高度可扩展性，适用于大规模部署。