[论文解读] New Datasets for Dynamic Malware Classification

Berkant Düzgün, Aykut Çayır+4 more|arXiv (Cornell University)|Nov 30, 2021

Advanced Malware Detection Techniques参考文献 13被引用 7

一句话总结

本文引入了两个新的、更新后的数据集——来自VirusSamples的9,795个样本和来自VirusShare的14,616个样本——用于基于API调用分析的动态恶意软件分类。在平衡与不平衡版本的数据集上评估了四种机器学习模型（SVM、XGBoost、随机森林和基于直方图的梯度提升），结果显示SVM在不平衡的VirusSample数据集上达到94%的准确率，XGBoost在VirusShare数据集的两个版本上均达到90%的准确率，为未来研究建立了基线结果。

ABSTRACT

Nowadays, malware and malware incidents are increasing daily, even with various anti-viruses systems and malware detection or classification methodologies. Many static, dynamic, and hybrid techniques have been presented to detect malware and classify them into malware families. Dynamic and hybrid malware classification methods have advantages over static malware classification methods by being highly efficient. Since it is difficult to mask malware behavior while executing than its underlying code in static malware classification, machine learning techniques have been the main focus of the security experts to detect malware and determine their families dynamically. The rapid increase of malware also brings the necessity of recent and updated datasets of malicious software. We introduce two new, updated datasets in this work: One with 9,795 samples obtained and compiled from VirusSamples and the one with 14,616 samples from VirusShare. This paper also analyzes multi-class malware classification performance of the balanced and imbalanced version of these two datasets by using Histogram-based gradient boosting, Random Forest, Support Vector Machine, and XGBoost models with API call-based dynamic malware classification. Results show that Support Vector Machine, achieves the highest score of 94% in the imbalanced VirusSample dataset, whereas the same model has 91% accuracy in the balanced VirusSample dataset. While XGBoost, one of the most common gradient boosting-based models, achieves the highest score of 90% and 80%.in both versions of the VirusShare dataset. This paper also presents the baseline results of VirusShare and VirusSample datasets by using the four most widely known machine learning techniques in dynamic malware classification literature. We believe that these two datasets and baseline results enable researchers in this field to test and validate their methods and approaches.

研究动机与目标

• 为应对日益增长的对近期、更新后的恶意软件数据集的需求，以支持有效的动态恶意软件分类。
• 提供两个新数据集——VirusSamples（9,795个样本）和VirusShare（14,616个样本）——的平衡与不平衡版本，以支持可复现的研究。
• 使用基于API调用的动态分析，评估四种广泛使用的机器学习模型（SVM、XGBoost、随机森林和基于直方图的梯度提升）在这些数据集上的性能。
• 为未来比较和验证新型动态恶意软件检测方法，建立基线分类准确率。
• 通过提供在最新、真实世界数据集上测试和基准化新型动态恶意软件分类技术的能力，支持研究社区。

提出的方法

• 从VirusSamples收集9,795个恶意软件样本，从VirusShare收集14,616个样本，形成两个新的、更新后的数据集。
• 从每个恶意软件样本的动态分析中提取系统调用（API调用）序列，作为行为特征的表示。
• 构建每个数据集的平衡与不平衡版本，以评估模型在类别分布变化下的鲁棒性。
• 应用四种机器学习模型——支持向量机（SVM）、XGBoost、随机森林和基于直方图的梯度提升——进行多类恶意软件家族分类。
• 使用基于API调用的动态分析作为输入表示，以捕捉运行时行为，从而实现对混淆技术具有抗性的恶意软件检测。
• 使用标准分类指标评估模型性能，重点关注在平衡与不平衡数据集配置下的准确率。

实验结果

研究问题

• RQ1 在使用基于API调用的动态分析的新收集的、最新的恶意软件数据集上，最先进机器学习模型的分类准确率是多少？
• RQ2 数据集不平衡如何影响真实世界恶意软件样本上动态恶意软件分类模型的性能？
• RQ3 在VirusSamples和VirusShare数据集的平衡与不平衡版本中，哪种机器学习模型在分类恶意软件家族方面达到最高准确率？
• RQ4 所提出的数据集和基线结果能否作为未来动态恶意软件分类研究的可靠基准？
• RQ5 在基于API调用序列的动态恶意软件分类背景下，SVM、XGBoost、随机森林和基于直方图的梯度提升模型的性能特征如何比较？

主要发现

• 支持向量机（SVM）在不平衡的VirusSample数据集上实现了94%的最高准确率，优于该配置下的其他模型。
• 在平衡的VirusSample数据集上，SVM实现了91%的准确率，表明其在类别分布调整下仍具有强大的泛化能力。
• XGBoost在VirusShare数据集的平衡与不平衡两个版本上均实现了90%的准确率，表现出在不同数据分布下的稳定性能。
• 与SVM和XGBoost相比，随机森林和基于直方图的梯度提升模型表现较低，其中XGBoost在VirusShare数据集的两个版本上均达到80%的准确率。
• 结果为未来研究建立了可靠的基线，SVM和XGBoost在基于API调用序列的动态恶意软件分类中表现最优。
• 两个新数据集——VirusSamples（9,795个样本）和VirusShare（14,616个样本）——为训练和评估动态恶意软件检测系统提供了最新、真实世界的数据。