[论文解读] Should I Raise The Red Flag? A comprehensive survey of anomaly scoring methods toward mitigating false alarms

Zahra Zohrevand, Uwe Glässer|arXiv (Cornell University)|Apr 14, 2019

Network Security and Intrusion Detection参考文献 75被引用 5

一句话总结

本文对异常评分方法进行了全面的分析性综述，旨在降低入侵检测系统中的误报率。它评估了提升异常评分、阈值调优和事后过滤的技术，强调评分在不牺牲检测召回率的前提下最小化误报的关键作用。

ABSTRACT

Nowadays, advanced intrusion detection systems (IDSs) rely on a combination of anomaly detection and signature-based methods. An IDS gathers observations, analyzes behavioral patterns, and reports suspicious events for further investigation. A notorious issue anomaly detection systems (ADSs) and IDSs face is the possibility of high false alarms, which even state-of-the-art systems have not overcome. This is especially a problem with large and complex systems. The number of non-critical alarms can easily overwhelm administrators and increase the likelihood of ignoring future alerts. Mitigation strategies thus aim to avoid raising `too many' false alarms without missing potentially dangerous situations. There are two major categories of false alarm-mitigation strategies: (1) methods that are customized to enhance the quality of anomaly scoring; (2) approaches acting as filtering methods in contexts that aim to decrease false alarm rates. These methods have been widely utilized by many scholars. Herein, we review and compare the existing techniques for false alarm mitigation in ADSs. We also examine the use of promising techniques in signature-based IDS and other relevant contexts, such as commercial security information and event management tools, which are promising for ADSs. We conclude by highlighting promising directions for future research.

研究动机与目标

• 解决异常检测系统（ADSs）中高误报率的长期挑战，该问题使管理员不堪重负并降低系统的可信度。
• 系统性地回顾并比较现有的误报缓解策略，特别是那些专注于改进异常评分和阈值选择的方法。
• 指出异常检测方法在标准化和性能报告方面的差距，倡导建立统一的评估框架。
• 探讨基于签名的检测技术与SIEM工具在异常检测中的适用性，以指导未来混合方法的发展。
• 识别在评估、可扩展性和对数据漂移的适应性方面存在的关键研究空白，以支持实际部署。

提出的方法

• 将误报缓解方法分为两大类：(1) 提升异常评分质量的方法；(2) 在评分后应用的过滤技术。
• 分析时间序列预测和概率建模作为估计正常行为和减少异常检测中不确定性的核心组件。
• 回顾集体分析和基于序列的评分策略，通过利用观测值之间的相关性或时间模式来重新标定异常评分。
• 检查事后剪枝和自适应阈值技术，这些技术可根据系统性能和数据漂移动态调整检测阈值。
• 调查结合模型驱动与数据驱动方法的混合模型，包括LSTM、自编码器和GAN等深度学习架构，以改善行为建模。
• 提出需要使用公开基准（如NAB、PyOD）进行标准化评估，并采用统一的评分格式，以实现公平比较和模型集成。

实验结果

研究问题

• RQ1 如何改进异常评分方法，以在不损害恶意活动检测能力的前提下减少误报？
• RQ2 在实时系统中，哪些最有效的阈值计算和动态调整策略可最大限度减少误报？
• RQ3 基于签名的IDS和SIEM工具中的技术在多大程度上可被适配以增强异常检测系统？
• RQ4 为何缺乏标准化的评估和性能指标报告是异常检测研究进展的障碍？
• RQ5 数据漂移和概念漂移如何影响异常检测性能，以及哪些方法可确保长期的鲁棒性？

主要发现

• 误报缓解在很大程度上依赖于异常评分阶段，尽管其对系统可用性的直接影响显著，但该阶段常被低估。
• 许多现有方法依赖于自定义数据集和非统一的评分格式，导致跨方法比较和集成困难。
• 事后剪枝和自适应阈值策略在通过基于运行时性能调整检测参数来减少误报方面展现出潜力。
• 基于序列和集体的评分方法通过分析相关性和时间模式改善了检测效果，减少了孤立的误报。
• 尽管深度学习在行为建模方面取得进展，但尚无单一模型能在所有类型的异常（尤其是隐蔽或聚集型攻击）上实现最优性能。
• 缺乏标准化基准和性能报告限制了新型异常检测技术的可重现性和实际应用。