[论文解读] Survey on the Usage of Machine Learning Techniques for Malware Analysis.

Daniele Ucci, Leonardo Aniello+1 more|arXiv (Cornell University)|Oct 23, 2017

Advanced Malware Detection Techniques参考文献 37被引用 29

一句话总结

本综述通过根据目标、特征和算法对现有研究进行分类，系统化地梳理了机器学习在恶意软件分析中的应用。它识别出数据集质量方面的关键挑战，并引入恶意软件分析经济学以评估准确率与成本之间的权衡。

ABSTRACT

Coping with malware is getting more and more challenging, given their relentless growth in complexity and volume. One of the most common approaches in literature is using machine learning techniques, to automatically learn models and patterns behind such complexity, and to develop technologies for keeping pace with the speed of development of novel malware. This survey aims at providing an overview on the way machine learning has been used so far in the context of malware analysis. We systematize surveyed papers according to their objectives (i.e., the expected output, what the analysis aims to), what information about malware they specifically use (i.e., the features), and what machine learning techniques they employ (i.e., what algorithm is used to process the input and produce the output). We also outline a number of problems concerning the datasets used in considered works, and finally introduce the novel concept of malware analysis economics, regarding the study of existing tradeoffs among key metrics, such as analysis accuracy and economical costs.

研究动机与目标

• 提供机器学习在恶意软件分析中应用的全面概述。
• 基于研究目标、特征和所用机器学习技术，对现有研究进行系统化整理。
• 识别出在所调查研究中使用数据集的关键局限性。
• 提出恶意软件分析经济学的概念，以评估准确率与成本之间的权衡。

提出的方法

• 本文对机器学习在恶意软件分析领域的文献进行了系统性综述。
• 根据分析目标（如分类或检测）对研究进行分类。
• 分析所使用的恶意软件特征类型，包括静态特征、动态特征和行为指标。
• 映射所采用的机器学习算法，如决策树、神经网络和集成方法。
• 评估数据集质量，突出显示类别不平衡、混淆技术以及缺乏真实世界多样性等问题。
• 提出一种新颖的恶意软件分析经济学框架，用于建模准确率、时间和资源成本之间的权衡。

实验结果

研究问题

• RQ1 机器学习技术在不同目标下当前如何应用于恶意软件分析？
• RQ2 在基于机器学习的恶意软件分析中，最常使用的特征类型是什么？
• RQ3 哪些机器学习算法在检测恶意软件方面表现出最高的性能？
• RQ4 现有恶意软件分析研究中所用数据集的主要局限性是什么？
• RQ5 如何在准确率和效率之间平衡恶意软件分析的经济成本？

主要发现

• 综述发现，由于分析开销较低，静态特征（如API调用、文件头）被最频繁使用。
• 与决策树等传统算法相比，神经网络和集成方法在检测准确率方面表现更优。
• 数据集的局限性（包括类别不平衡和缺乏真实世界多样性）显著影响模型的泛化能力。
• 许多研究依赖于VirusTotal等公共数据集，但这些数据集可能无法反映真实世界中的恶意软件行为或演化特征。
• 所提出的恶意软件分析经济学框架表明，高准确率模型通常伴随着不成比例的高计算和时间成本。
• 模型准确率与资源效率之间存在明显权衡，表明在实际部署中需要采用成本意识的设计。