[论文解读] Tiresias: Online Anomaly Detection for Hierarchical Operational Network Data

Chi-Yao Hong, Matthew Caesar+2 more|arXiv (Cornell University)|Mar 9, 2012

Network Security and Intrusion Detection参考文献 16被引用 6

一句话总结

Tiresias 是一种用于分层操作型网络数据的在线异常检测系统，利用自适应分层重热点检测技术，在实时环境中以高精度检测异常。在真实 ISP 数据上的评估显示，其异常定位准确率超过 94%，并发现了此前未知的问题。

ABSTRACT

Operational network data, management data such as customer care call logs and equipment system logs, is a very important source of information for network operators to detect problems in their networks. Unfortunately, there is lack of efficient tools to automatically track and detect anomalous events on operational data, causing ISP operators to rely on manual inspection of this data. While anomaly detection has been widely studied in the context of network data, operational data presents several new challenges, including the volatility and sparseness of data, and the need to perform fast detection (complicating application of schemes that require offline processing or large/stable data sets to converge). To address these challenges, we propose Tiresias, an automated approach to locating anomalous events on hierarchical operational data. Tiresias leverages the hierarchical structure of operational data to identify high-impact aggregates (e.g., locations in the network, failure modes) likely to be associated with anomalous events. To accommodate different kinds of operational network data, Tiresias consists of an online detection algorithm with low time and space complexity, while preserving high detection accuracy. We present results from two case studies using operational data collected at a large commercial IP network operated by a Tier-1 ISP: customer care call logs and set-top box crash logs. By comparing with a reference set verified by the ISP's operational group, we validate that Tiresias can achieve >94% accuracy in locating anomalies. Tiresias also discovered several previously unknown anomalies in the ISP's customer care cases, demonstrating its effectiveness.

研究动机与目标

• 解决在稀疏、易变且分层的操作型网络数据（如客户支持日志和系统崩溃报告）中检测异常的挑战。
• 开发一种在线、低复杂度的检测系统，可扩展至大规模网络并实现实时运行，区别于离线方法。
• 利用操作型数据的分层结构，在聚合层级检测高影响异常，即使在叶节点信号稀疏的情况下也能实现。
• 通过将分层重热点检测技术适配于动态、流式操作型数据，改进现有异常检测技术。
• 在真实 ISP 环境中验证系统检测已知和此前未知异常的有效性。

提出的方法

• Tiresias 使用基于分层重热点检测的在线检测算法，针对流式数据进行了优化，具备低时间和空间复杂度。
• 通过在层次结构的多个层级上追踪重热点，动态识别高影响聚合项（例如网络位置、故障模式）。
• 系统采用一种新颖的自适应机制，随时间调整重热点位置，从而实现在顶层节点之下的更细粒度层级检测异常。
• 将检测到的异常与 ISP 运维团队验证的基准数据集进行对比，计算精确率、召回率和 F1 分数，使用分层匹配函数。
• 该方法包含一种机制，根据时间与分层关系将异常分类为真正例、漏检异常、新发现异常或真负例。
• Tiresias 实现实时数据处理，适用于响应要求高的紧急、关键任务型操作数据。

实验结果

研究问题

• RQ1 在线异常检测系统能否有效识别稀疏、易变且分层的操作型网络数据中的异常？
• RQ2 将分层重热点检测技术适配于实时流式操作型数据时，其性能与离线方法相比如何？
• RQ3 Tiresias 在信号微弱的细粒度层级（例如第一级网络层级以下）检测异常的能力有多强？
• RQ4 Tiresias 能否发现传统监控或基准方法未能捕获的先前未知异常？
• RQ5 在真实 ISP 部署中，检测准确率、计算效率与可扩展性之间的权衡如何？

主要发现

• 与 ISP 运维团队验证的基准集相比，Tiresias 在定位异常方面准确率超过 94%。
• 该系统成功检测了大多数已知异常，漏检异常数量较少，且真正例与真负例比例较高。
• Tiresias 发现了多个此前未知的异常，尤其在层次结构的较低层级（如 VHO、CO、DSLAM），这些异常被基准方法所遗漏。
• 绝大多数（95%）新发现的异常位于 VHO 层级以下，表明系统具备检测细微、局部问题的能力。
• 在 CO 层级发现的新异常占比为 29.3%，在 DSLAM 层级为 9.4%，表明其在网络边缘位置具有强大的检测能力。
• 系统的自适应重热点机制即使在数据稀疏或易变的情况下也能实现准确检测，优于仅限于第一级聚合的检测方法。