[论文解读] On the Utility of Anonymized Flow Traces for Anomaly Detection

Martin Burkhart, Daniela Brauckhoff+1 more|ArXiv.org|Oct 9, 2008

Internet Traffic Analysis and Secure E-voting参考文献 20被引用 9

一句话总结

本文评估了IP地址混淆技术（如截断、随机置换和前缀保留置换）对网络流量痕迹在异常检测中可用性的影响。基于三周的骨干网流量痕迹，研究发现只有前缀保留置换能保持异常检测的可用性，而其他方法会降低性能，尤其对小规模异常和网络波动检测的影响更为显著。

ABSTRACT

The sharing of network traces is an important prerequisite for the development and evaluation of efficient anomaly detection mechanisms. Unfortunately, privacy concerns and data protection laws prevent network operators from sharing these data. Anonymization is a promising solution in this context; however, it is unclear if the sanitization of data preserves the traffic characteristics or introduces artifacts that may falsify traffic analysis results. In this paper, we examine the utility of anonymized flow traces for anomaly detection. We quantitatively evaluate the impact of IP address anonymization, namely variations of permutation and truncation, on the detectability of large-scale anomalies. Specifically, we analyze three weeks of un-sampled and non-anonymized network traces from a medium-sized backbone network. We find that all anonymization techniques, except prefix-preserving permutation, degrade the utility of data for anomaly detection. We show that the degree of degradation depends to a large extent on the nature and mix of anomalies present in a trace. Moreover, we present a case study that illustrates how traffic characteristics of individual hosts are distorted by anonymization.

研究动机与目标

• 评估IP地址混淆对网络流量痕迹中统计异常检测的影响。
• 识别哪些混淆技术能保留检测大规模异常所必需的流量特征。
• 研究混淆对检测单个主机异常的可见性和准确性的影晌。
• 量化不同异常类型（流量体积、扫描/拒绝服务攻击、网络波动）和传输协议（TCP/UDP）下检测性能的退化程度。
• 评估混淆数据在细粒度层面进行根本原因分析和流量特征分析的可用性。

提出的方法

• 提出了一种用于流量分析的通用粒度设计空间，由子集大小（如主机、子网）和分辨率（如IP前缀长度）定义。
• 应用了五种混淆技术：黑名单标记、截断、随机置换、部分前缀保留置换和完全前缀保留置换。
• 使用基于卡尔曼滤波的异常检测器，在未经混淆、人工标注的三周骨干网流量痕迹上建立基线检测性能。
• 通过接收者操作特征（ROC）曲线评估混淆数据上的检测器性能，比较不同混淆方案下的真正例率与假正例率。
• 开展案例研究，分析170台独立Web服务器的流量聚合效应，量化因截断导致的焦点丢失程度。
• 测量因截断而引入的额外、非本源流量的比例，以评估对单个主机流量特征的扭曲程度。

实验结果

研究问题

• RQ1 IP地址混淆在多大程度上影响对大规模异常（如流量突增、扫描和拒绝服务攻击）的可检测性？
• RQ2 不同混淆技术（如截断、置换）在各类异常类型下对异常检测性能的退化程度如何？
• RQ3 混淆如何影响对单个主机流量特征的分析与识别能力？
• RQ4 截断对流量聚合有何影响，以及它如何扭曲主机级流量模式？
• RQ5 是否可以对混淆进行调优，以最小化特定异常检测目标下的性能退化？

主要发现

• 除前缀保留置换外，所有混淆技术均降低异常检测可用性，性能下降幅度在13%至30%之间，具体取决于异常类型。
• 对于网络波动异常，当截断位数从2位增加到4位时，检测可用性从87%降至70%，表明检测性能显著退化。
• 截断8位时，89%的Web服务器因与邻近主机聚合而导致流量增加100%或以上，严重扭曲了主机级特征。
• 焦点丢失效应——即主机流量被邻近主机流量掩盖——使得在未保留子集大小时，小规模异常检测几乎不可能实现。
• 随机置换和黑名单标记对网络波动检测的性能影响最大，而体积异常在所有混淆方案下均保持相对稳定。
• 前缀保留置换提供最佳可用性，其检测性能最接近未混淆基线；而黑名单标记因数据扭曲程度最高，表现最差。