[论文解读] On Designing Machine Learning Models for Malicious Network Traffic Classification

Talha Ongun, Timothy Sakharaov+3 more|arXiv (Cornell University)|Jul 10, 2019

Network Security and Intrusion Detection参考文献 11被引用 18

一句话总结

本文為基於監督式機器學習模型設計提供了實用指南，用於分類惡意網路流量，特別聚焦於從Bro網路日誌中偵測駭客控制的電腦網路（botnet）。研究顯示，梯度提升等集成模型在處理不平衡資料時表現優於線性模型，且細粒度標註顯著提升效能，特別是當結合時間視窗特徵聚合以建立針對特定攻擊的表示時效果更佳。

ABSTRACT

Machine learning (ML) started to become widely deployed in cyber security settings for shortening the detection cycle of cyber attacks. To date, most ML-based systems are either proprietary or make specific choices of feature representations and machine learning models. The success of these techniques is difficult to assess as public benchmark datasets are currently unavailable. In this paper, we provide concrete guidelines and recommendations for using supervised ML in cyber security. As a case study, we consider the problem of botnet detection from network traffic data. Among our findings we highlight that: (1) feature representations should take into consideration attack characteristics; (2) ensemble models are well-suited to handle class imbalance; (3) the granularity of ground truth plays an important role in the success of these methods.

研究动机与目标

• 為解決資安領域中監督式機器學習設計缺乏系統性指導的問題，特別是針對網路流量分類。
• 評估特徵表示、模型選擇與真實標註細粒度對惡意軟體偵測效能的影響。
• 提供可實際部署於真實網路防禦系統的機器學習應用建議。
• 示範集成模型與細粒度標註可顯著提升在不平衡資料集中對駭客控制電腦網路流量的偵測能力。

提出的方法

• 本研究使用公開的CTU-13資料集，其中包含來自大學網路的真實網路流量與駭客控制電腦網路攻擊日誌。
• 特徵表示方式包括Bro日誌中的原始連線層特徵、固定時間視窗（例如30秒）內的聚合流量統計，以及時間序列特徵。
• 評估的分類器包括邏輯回歸、隨機森林與梯度提升；效能以精確度、召回率與F1-score衡量。
• 真實標註在兩種細粒度下進行比較：粗粒度（整個攻擊會話）與細粒度（單一連線），以評估標註細粒度的影響。
• 實驗在多種駭客控制電腦網路類型（例如Neris、Rbot）下進行，並涵蓋不同的類別不平衡比例。
• 透過分析隨機森林等樹基模型的特徵重要性，評估模型的可解釋性。

实验结果

研究问题

• RQ1 不同的特徵表示方式（原始連線日誌、聚合統計與時間序列特徵）如何影響駭客控制電腦網路偵測的模型效能？
• RQ2 哪些機器學習模型最能有效處理網路流量資料中常見的極端類別不平衡問題？
• RQ3 真實標註的細粒度（粗粒度 vs. 細粒度）如何影響分類指標？
• RQ4 針對攻擊特徵量身訂做的特徵工程是否能提升偵測準確率？
• RQ5 可解釋模型在多大程度上能支援分析人員對機器學習產生的警示進行調查？

主要发现

• 在1:134的類別不平衡比例下，梯度提升模型於Neris駭客控制電腦網路中達成0.97的精確度與0.95的召回率，表現優於邏輯回歸。
• 對單一網路連線進行細粒度標註，顯著提升分類效能，特別是在Rbot等複雜駭客控制電腦網路中效果更為顯著。
• 集成模型如隨機森林與梯度提升能有效處理類別不平衡問題，而較簡單的模型如邏輯回歸則表現較差。
• 時間視窗（例如30秒）的特徵聚合可提升偵測效能，特別是當與基於通訊埠的分組方式結合時效果更佳。
• 隨機森林模型透過識別關鍵特徵（如高封包數量或異常通訊埠使用）提供高可解釋性，進而標示出駭客控制電腦網路活動。
• 特徵表示的選擇高度依賴攻擊類型與可用訓練資料，且在高不平衡情況下，較小的時間視窗表現更佳。