[论文解读] Securing Your Transactions: Detecting Anomalous Patterns In XML Documents

Eitan Menahem, Alon Schclar+2 more|arXiv (Cornell University)|Sep 9, 2012

Network Security and Intrusion Detection参考文献 34被引用 5

一句话总结

本文提出XML-AD，一种用于通过提取结构特征和基于内容的特征并将它们转换为固定长度向量以实现异常检测的机器学习框架。该框架采用一种新颖的多单变量算法ADIFA，在四个真实世界的XML数据集上实现了超过89%的真正例检测率，且误报率低于0.2%。

ABSTRACT

XML transactions are used in many information systems to store data and interact with other systems. Abnormal transactions, the result of either an on-going cyber attack or the actions of a benign user, can potentially harm the interacting systems and therefore they are regarded as a threat. In this paper we address the problem of anomaly detection and localization in XML transactions using machine learning techniques. We present a new XML anomaly detection framework, XML-AD. Within this framework, an automatic method for extracting features from XML transactions was developed as well as a practical method for transforming XML features into vectors of fixed dimensionality. With these two methods in place, the XML-AD framework makes it possible to utilize general learning algorithms for anomaly detection. Central to the functioning of the framework is a novel multi-univariate anomaly detection algorithm, ADIFA. The framework was evaluated on four XML transactions datasets, captured from real information systems, in which it achieved over 89% true positive detection rate with less than a 0.2% false positive rate.

研究动机与目标

• 解决由网络攻击或良性错误引起的异常XML事务所带来的安全威胁。
• 开发一种适用于现实世界信息系统中XML文档的通用异常检测框架。
• 在处理前实现对恶意或错误XML事务的端点检测，补充现有的XML安全协议。
• 克服现有多变量异常检测方法在高维XML特征空间中的局限性。
• 创建一种实用且可扩展的解决方案，适用于集成到XML防火墙系统或安全监控流水线中。

提出的方法

• 提出一种自动特征提取方法，以捕捉XML文档的结构特征和基于内容的特征。
• 引入一种固定长度的特征向量转换（实例扁平化），将复杂XML特征映射为与通用异常检测算法兼容的格式。
• 开发ADIFA，一种新颖的多单变量异常检测算法，通过聚合函数（AM、GM、HM）组合单变量模型，以提高鲁棒性。
• 采用分层特征表示，在扁平化过程中保留关键值，以最小化信息损失。
• 在转换后的特征向量上应用标准的机器学习异常检测算法（例如，1-SVM、LOF、OC-GDE、OC-PGA）。
• 使用AUC和基于排名的评估方法，在UCI基准数据集上将ADIFA与多变量基线方法进行比较。

实验结果

研究问题

• RQ1 通用框架能否检测由恶意攻击和良性错误引起的XML事务中的异常？
• RQ2 所提出的特征提取和扁平化方法在保留用于异常检测的区分性信息方面有多有效？
• RQ3 在高维XML特征空间中，多单变量ADIFA算法是否优于传统的多变量异常检测方法？
• RQ4 XML-AD在真实世界XML事务数据集上的检测性能如何，以真正例率和假正例率衡量？
• RQ5 ADIFA能否在多样化数据领域中实现泛化，同时保持高检测精度？

主要发现

• XML-AD框架在四个真实世界的XML事务数据集上实现了超过89%的真正例检测率。
• 该框架将假正例率保持在0.2%以下，表明在区分正常与异常事务方面具有高精度。
• ADIFA在AUC方面优于四种多变量异常检测算法（1-SVM、OC-PGA、OC-GDE、LOF），其中ADIA-GM表现出统计上显著的优越性。
• 非参数Bonferroni-Dunn检验证实ADIFA变体显著优于多变量基线方法，且ADIFA变体之间无显著差异。
• 固定长度的特征转换保留了关键的区分性数值，尽管进行了维度压缩，仍最小化了信息损失。
• 该框架在多样化UCI基准数据集上表现出强大的泛化能力，表明其在特定XML应用领域之外也具有鲁棒性。