[论文解读] Unsupervised Anomaly-based Malware Detection using Hardware Features

Adrian Tang, Simha Sethumadhavan+1 more|arXiv (Cornell University)|Mar 7, 2014

Advanced Malware Detection Techniques被引用 15

一句话总结

本文提出一种基于硬件性能计数器（HPCs）的无监督异常检测方法，用于检测无需依赖签名的利用阶段恶意软件。通过使用功率变换和时间聚合的HPC数据对正常程序行为进行建模，并应用无监督机器学习，该方法在实际运行的Windows/x86系统（搭载Internet Explorer和Adobe PDF Reader）中以近乎完美的准确率检测出恶意代码执行引起的细微偏差。

ABSTRACT

Recent works have shown promise in using microarchitectural execution patterns to detect malware programs. These detectors belong to a class of detectors known as signature-based detectors as they catch malware by comparing a program's execution pattern (signature) to execution patterns of known malware programs. In this work, we propose a new class of detectors - anomaly-based hardware malware detectors - that do not require signatures for malware detection, and thus can catch a wider range of malware including potentially novel ones. We use unsupervised machine learning to build profiles of normal program execution based on data from performance counters, and use these profiles to detect significant deviations in program behavior that occur as a result of malware exploitation. We show that real-world exploitation of popular programs such as IE and Adobe PDF Reader on a Windows/x86 platform can be detected with nearly perfect certainty. We also examine the limits and challenges in implementing this approach in face of a sophisticated adversary attempting to evade anomaly-based detection. The proposed detector is complementary to previously proposed signature-based detectors and can be used together to improve security.

研究动机与目标

• 开发一类新型基于硬件的恶意软件检测器，无需已知恶意软件签名即可检测新型或零日利用。
• 探究是否可利用低层次硬件特性（如性能计数器）检测由恶意软件利用引发的微架构执行异常。
• 通过统计和时间信号增强方法，克服在高度偏态HPC分布中检测微小偏差的挑战。
• 评估在真实世界生产环境中，面对真实攻击场景时，基于异常的检测方法的可行性与鲁棒性。
• 探索该方法与现有基于签名的检测器之间的互补性，以提升整体恶意软件防御能力。

提出的方法

• 该方法使用硬件性能计数器（HPCs）收集易受攻击应用程序（如Internet Explorer和Adobe PDF Reader）正常执行过程中的微架构特征。
• 对HPC数据应用功率变换（如Box-Cox变换），以稳定方差并增强高度偏态HPC分布中的微小偏差。
• 通过时间窗口内对多个HPC样本进行时间聚合，提升信噪比，从而检测一致的行为异常。
• 使用无监督机器学习模型（如聚类或基于重构的方法）在正常执行特征上进行训练，以学习基线行为模式。
• 通过统计距离度量或重构误差测量与学习到的正常特征的偏离程度来检测异常。
• 在受控利用已知漏洞的真实世界Windows/x86系统上对方法进行评估。

实验结果

研究问题

• RQ1 基于硬件性能计数器的无监督异常检测能否在有效载荷交付前的初始执行阶段可靠检测到恶意软件利用？
• RQ2 尽管HPC数据分布高度偏态，该方法在多大程度上能放大并检测到微架构特征中的微小、细微偏差？
• RQ3 该方法在检测广泛使用、复杂软件（如IE和Adobe PDF Reader）中的真实世界利用时效果如何？
• RQ4 当高级对手试图通过精心调整微架构特性来模仿正常行为时，该检测器的性能如何？
• RQ5 该基于异常的检测方法能否与现有基于签名的检测器互补，以提升整体恶意软件检测覆盖率和早期预警能力？

主要发现

• 所提出的基于异常的检测器在真实世界Windows/x86系统中成功检测到恶意软件利用，检测准确率近乎完美，对Internet Explorer和Adobe PDF Reader的利用检测表现优异。
• 功率变换有效放大了HPC数据中的微小偏差，使在底层分布正偏态的情况下仍能实现可靠检测。
• 对多个HPC样本的时间聚合显著提升了信噪比，使细微异常更加明显可辨。
• 该方法在一定程度上对逃避检测的尝试具有鲁棒性，尽管高级对手仍可能通过精细调整微架构特征来模仿正常行为。
• 该检测器与基于签名的系统具有互补性，可作为早期预警机制，在有效载荷执行前识别出利用行为。
• 本研究证明，从硬件特征中自动、数据驱动地学习程序行为是可行且有效的，适用于安全监控。