[论文解读] MultiResolution Anomaly Detection Method for Long Range Dependent Time Series

Lingsong Zhang, Zhengyuan Zhu+1 more|ArXiv.org|Sep 8, 2008

Network Security and Intrusion Detection参考文献 34被引用 5

一句话总结

该论文提出了一种用于长程依赖（LRD）时间序列的多分辨率异常检测（MRAD）方法，通过多尺度聚合实现比单尺度方法更有效的局部均值水平漂移检测。其关键理论贡献在于证明了双尺度MRAD程序的检测功效高于其各尺度功效的平均值，并推导出考虑尺度相关性和LRD结构的临界阈值。

ABSTRACT

Driven by network intrusion detection, we propose a MultiResolution Anomaly Detection (MRAD) method, which effectively utilizes the multiscale properties of Internet features and network anomalies. In this paper, several theoretical properties of the MRAD method are explored. A major new result is the mathematical formulation of the notion that a two-scaled MRAD method has larger power than the average power of the detection method based on the given two scales. Test threshold is also developed. Comparisons between MRAD method and other classical outlier detectors in time series are reported as well.

研究动机与目标

• 为解决在长程依赖（LRD）时间序列中检测网络异常的挑战，其中经典异常检测方法因长程依赖而失效。
• 开发一种利用网络异常多尺度特性和正常流量自相似性的统计方法。
• 正式建立双尺度MRAD方法在统计功效方面相对于单尺度检测的理论优越性。
• 推导MRAD检验的临界阈值，以考虑尺度相关性和LRD结构。
• 提供一种对LRD具有鲁棒性且在多个时间尺度上均有效的网络流量异常检测框架。

提出的方法

• MRAD方法通过在不断增加的分箱大小（例如，1, b, b², ...）上聚合原始观测值，构建多尺度时间序列，形成多尺度表示。
• 基于非标准小波变换的近似分量定义检验统计量，而非小波系数，以保留LRD结构。
• 在单个时间点对多个尺度联合进行假设检验，检验聚合信号的绝对值是否超过临界阈值。
• 临界阈值 $ C_M^\alpha $ 被推导出来，以在原假设下控制第一类错误率，并考虑尺度间的相关性。
• 该方法采用二元正态近似和泰勒展开，对原假设和备择假设下不同尺度信号的联合分布进行建模。
• 理论推导依赖于自相似过程的性质，其赫斯特参数 $ H \in (0.5, 1) $，以确保长程依赖性。

实验结果

研究问题

• RQ1 双尺度MRAD程序在检测LRD时间序列中的局部均值水平漂移时，是否具有高于其各尺度功效平均值的统计功效？
• RQ2 不同尺度间信号的相关性如何影响MRAD检验的第一类错误率和检测功效？
• RQ3 能否构建一个理论上推导出的临界阈值 $ C_M^\alpha $，以在考虑尺度相关性和LRD结构的同时，保持名义显著性水平？
• RQ4 当显著性水平 $ \alpha \to 0 $ 时，功效差函数 $ f(\alpha, \delta) $ 的渐近行为如何？对于小的 $ \alpha $，其是否仍为正？
• RQ5 MRAD方法的性能与假设短程依赖或独立性的经典异常检测方法相比如何？

主要发现

• MRAD方法的检测功效高于其各单尺度检测器功效的平均值，证明多尺度融合可增强对LRD时间序列中局部均值漂移的敏感性。
• 当 $ \alpha \to 0^+ $ 时，功效差函数 $ f(\alpha, \delta) $ 严格为正，确认双尺度MRAD程序在统计功效上优于单尺度方法。
• 临界阈值 $ C_M^\alpha $ 被推导为 $ C_0 - \frac{\phi(C_0)C_0^2}{2\sqrt{1 - \alpha}} \rho^2 + o(\rho^2) $，其中 $ \rho \sim H L^{H-1} $，确保在相关性下正确控制第一类错误。
• 当 $ L \to \infty $ 时，双尺度MRAD检验的功效收敛至 $ 1 - \sqrt{1 - \alpha} [\Phi(C_0 - \delta) - \Phi(-C_0 - \delta)] $，其严格大于单尺度功效的平均值。
• 该方法的理论基础建立在二元正态近似和泰勒展开之上，且在原假设和备择假设下均进行了严格的渐近分析。
• 该方法被证明优于假设短程依赖的经典异常检测方法，因为后者在LRD环境下会出现第一类错误率膨胀的问题。