[论文解读] RADS: Real-time Anomaly Detection System for Cloud Data Centres

Sakil Barbhuiya, Zafeirios Papazachos+2 more|arXiv (Cornell University)|Nov 11, 2018

Network Security and Intrusion Detection参考文献 13被引用 9

一句话总结

RADS 是一种用于云数据中心的实时异常检测系统，采用单类分类和基于窗口的时间序列分析，在虚拟机（VM）级别检测 DDoS 和加密挖矿攻击。其准确率可达 90–95%，误报率仅为 0–3%，显著优于基于平均值和熵的方法，在减少因工作负载突增导致的误报方面表现突出。

ABSTRACT

Cybersecurity attacks in Cloud data centres are increasing alongside the growth of the Cloud services market. Existing research proposes a number of anomaly detection systems for detecting such attacks. However, these systems encounter a number of challenges, specifically due to the unknown behaviour of the attacks and the occurrence of genuine Cloud workload spikes, which must be distinguished from attacks. In this paper, we discuss these challenges and investigate the issues with the existing Cloud anomaly detection approaches. Then, we propose a Real-time Anomaly Detection System (RADS) for Cloud data centres, which uses a one class classification algorithm and a window-based time series analysis to address the challenges. Specifically, RADS can detect VM-level anomalies occurring due to DDoS and cryptomining attacks. We evaluate the performance of RADS by running lab-based experiments and by using real-world Cloud workload traces. Evaluation results demonstrate that RADS can achieve 90-95% accuracy with a low false positive rate of 0-3%. The results further reveal that RADS experiences fewer false positives when using its window-based time series analysis in comparison to using state-of-the-art average or entropy based analysis.

研究动机与目标

• 为解决在云数据中心中检测未知网络安全攻击的挑战，特别是 DDoS 和加密挖矿攻击。
• 降低现有异常检测系统中因真实工作负载突增而引发的误报，这些突增行为与攻击特征相似。
• 开发一种轻量级、实时的检测系统，适用于在生产环境的云环境中部署。
• 评估基于窗口的时间序列分析在提升检测准确率和降低误报率方面，相较于传统平均值或熵基方法的有效性。
• 通过在 OpenStack 云环境中的实验室实验以及来自 Bitbrains 数据中心的真实工作负载轨迹，对系统进行验证。

提出的方法

• RADS 采用单类分类算法，具体为单类支持向量机（one-class SVM），仅使用正常虚拟机行为进行训练，将偏离正常行为的异常视为异常。
• 通过滑动时间窗口对 CPU 和网络利用率指标的时间序列进行建模，分析其时间模式。
• 利用四分位距（IQR）识别并表征真实轨迹中的工作负载突增，将其与持续异常区分开来。
• 当偏离学习到的正常行为的程度超过由单类 SVM 决策边界确定的阈值时，系统将异常标记为警报。
• 将该方法与最先进的基于平均值和熵的分析技术进行对比，以评估其在降低误报方面的表现。
• 实验在包含 2–10 个虚拟机、运行图分析和媒体流工作负载的实验室级 OpenStack 云环境中进行，同时使用来自 Bitbrains 数据中心的真实轨迹。

实验结果

研究问题

• RQ1 单类分类方法是否能有效检测云虚拟机中未知的 DDoS 和加密挖矿攻击，而无需使用带标签的攻击数据？
• RQ2 与基于平均值和熵的方法相比，基于窗口的时间序列分析在减少因合法工作负载突增导致的误报方面表现如何？
• RQ3 RADS 在跨多个虚拟机扩展时，其实时性能开销（以 CPU 和处理时间衡量）如何？
• RQ4 真实云工作负载中的真实工作负载突增在多大程度上干扰异常检测？能否可靠地区分这些突增与真实攻击？
• RQ5 RADS 是否能在合成环境和真实世界环境中同时保持高检测准确率和可接受的低误报率？

主要发现

• RADS 在实验室环境和真实工作负载轨迹上对 DDoS 和加密挖矿攻击的检测 F1 分数准确率达到 90–95%。
• 系统保持了 0–3% 的低误报率，显著低于最先进的基于平均值和熵的方法。
• 基于窗口的时间序列分析在减少误报方面比基于平均值或熵的方法更有效，尤其在存在瞬时工作负载突增的情况下。
• Bitbrains 轨迹中 84% 的虚拟机表现出 CPU 利用率突增，95% 出现网络流量突增，证实了真实工作负载突增作为主要挑战的普遍性。
• RADS 展现出极低的计算开销，在宿主机上消耗的 CPU 和处理时间极少，适合实时部署。
• 评估结果表明，RADS 能够有效区分短暂的工作负载突增与由攻击引起的持续异常，从而提升检测的可靠性。