[论文解读] On Benchmarking Intrusion Detection Systems in Virtualized Environments

Aleksandar Milenkoski, Samuel Kounev+3 more|arXiv (Cornell University)|Oct 5, 2014

Network Security and Intrusion Detection参考文献 32被引用 3

一句话总结

本文提出了一种用于虚拟化环境中基于VMM的入侵检测系统（IDS）的基准测试框架，解决了工作负载表示和度量指标方面的挑战。该框架强调了针对VMM的恶意工作负载、弹性资源感知的度量指标以及真实背景工作负载的必要性，以在动态虚拟化环境下准确评估IDS的性能和检测准确性。

ABSTRACT

Modern intrusion detection systems (IDSes) for virtualized environments are deployed in the virtualization layer with components inside the virtual machine monitor (VMM) and the trusted host virtual machine (VM). Such IDSes can monitor at the same time the network and host activities of all guest VMs running on top of a VMM being isolated from malicious users of these VMs. We refer to IDSes for virtualized environments as VMM-based IDSes. In this work, we analyze state-of-the-art intrusion detection techniques applied in virtualized environments and architectures of VMM-based IDSes. Further, we identify challenges that apply specifically to benchmarking VMM-based IDSes focussing on workloads and metrics. For example, we discuss the challenge of defining representative baseline benign workload profiles as well as the challenge of defining malicious workloads containing attacks targeted at the VMM. We also discuss the impact of on-demand resource provisioning features of virtualized environments (e.g., CPU and memory hotplugging, memory ballooning) on IDS benchmarking measures such as capacity and attack detection accuracy. Finally, we outline future research directions in the area of benchmarking VMM-based IDSes and of intrusion detection in virtualized environments in general.

研究动机与目标

• 解决虚拟化环境中基于VMM的IDS缺乏标准化基准测试方法的问题。
• 识别并分析基准测试VMM-based IDS所特有的挑战，特别是工作负载表示和度量设计方面的问题。
• 强调虚拟化弹性（例如CPU/内存热插拔）对IDS性能和检测准确性的影响。
• 提出未来研究方向，包括生成针对VMM的代表性恶意工作负载以及定义正常使用配置文件。
• 倡导采用明确考虑虚拟化部署环境中动态资源分配的度量指标。

提出的方法

• 分析最先进的基于VMM的IDS架构和入侵检测技术，包括基于误用的检测和基于异常的检测。
• 提出使用针对VMM的攻击作为恶意工作负载，以评估IDS对虚拟机监视器级别威胁的弹性能力。
• 引入对弹性感知度量指标的需求，以反映IDS基准测试期间的动态资源分配（例如CPU、内存）。
• 强调使用可扩展、异构的良性工作负载的重要性，以在虚拟化系统中模拟真实世界背景流量。
• 考虑自适应IDS配置，其可根据运行时可用资源进行重新配置，从而影响检测准确性和性能。
• 概述未来工作，包括基于性能特征签名的检测以及在VMM中实现自动化漏洞和攻击注入，以用于基准测试。

实验结果

研究问题

• RQ1 如何定义并生成用于基准测试VMM的代表性恶意工作负载？
• RQ2 在具有动态资源分配的弹性虚拟化环境中，需要哪些度量指标才能准确评估基于VMM的IDS性能？
• RQ3 按需资源分配功能（例如内存气球技术、CPU热插拔）如何影响IDS的检测准确性和资源消耗？
• RQ4 在虚拟化环境中，构成真实基线良性工作负载配置的要素是什么，以避免IDS评估中的误报？
• RQ5 如何在不同运行时资源可用性条件下评估自适应IDS配置，以确保检测性能的一致性？

主要发现

• 基于VMM的IDS能够同时监控多个客户虚拟机，并与恶意客户用户隔离，从而在虚拟化环境中提供强大的安全防护。
• 攻击检测准确性显著受系统可用资源的影响；内存或CPU资源增加可提高对时间关键操作（如数据包分段缓冲）的检测能力。
• 现有基准测试方法往往未能考虑云环境的弹性特性，导致对基于VMM的IDS性能测量产生误导。
• 基准测试工作负载中缺乏具有代表性的针对VMM的攻击，限制了评估基于VMM的IDS对高影响力虚拟机监视器利用真实弹性的能力。
• 定义虚拟化环境中“正常”使用配置文件仍是重大挑战，因为良性工作负载必须具备可扩展性和异构性，以反映真实世界条件。
• 未来的基准测试必须整合弹性感知度量指标，以反映系统在动态资源配置下的行为，例如资源分配的可扩展性和响应能力。