[论文解读] Robust Neural Malware Detection Models for Emulation Sequence Learning

Rakshit Agrawal, Jack W. Stokes+2 more|arXiv (Cornell University)|Jun 28, 2018

Advanced Malware Detection Techniques参考文献 29被引用 5

一句话总结

本文提出了一种鲁棒的神经网络恶意软件检测模型，利用长短期记忆网络（LSTM）和卷积神经网络（CNNs）分析完整的API调用仿真序列，从而在恶意行为被深度隐藏于长序列中的情况下，仍能检测多态恶意软件。其主要贡献是提出了一种长序列卷积划分方法（CPoLS），该方法可在高达数十万次事件的极长序列上实现端到端训练，且在包含634,249条序列的数据集上保持高准确率。

ABSTRACT

Malicious software, or malware, presents a continuously evolving challenge in computer security. These embedded snippets of code in the form of malicious files or hidden within legitimate files cause a major risk to systems with their ability to run malicious command sequences. Malware authors even use polymorphism to reorder these commands and create several malicious variations. However, if executed in a secure environment, one can perform early malware detection on emulated command sequences. The models presented in this paper leverage this sequential data derived via emulation in order to perform Neural Malware Detection. These models target the core of the malicious operation by learning the presence and pattern of co-occurrence of malicious event actions from within these sequences. Our models can capture entire event sequences and be trained directly using the known target labels. These end-to-end learning models are powered by two commonly used structures - Long Short-Term Memory (LSTM) Networks and Convolutional Neural Networks (CNNs). Previously proposed sequential malware classification models process no more than 200 events. Attackers can evade detection by delaying any malicious activity beyond the beginning of the file. We present specialized models that can handle extremely long sequences while successfully performing malware detection in an efficient way. We present an implementation of the Convoluted Partitioning of Long Sequences approach in order to tackle this vulnerability and operate on long sequences. We present our results on a large dataset consisting of 634,249 file sequences, with extremely long file sequences.

研究动机与目标

• 通过分析仿真中的行为序列，解决传统基于签名的方法难以检测多态恶意软件的挑战。
• 克服现有模型仅能处理短序列（例如≤200个事件）的局限性，从而防止攻击者将恶意行为隐藏在长序列深处。
• 开发端到端的神经网络模型，能够从完整且可变长度的事件序列中学习，无需截断序列或丢失上下文信息。
• 提升对使用命令重排、循环或混淆技术以逃避检测的恶意软件的检测鲁棒性。
• 证明结合LSTM用于建模序列依赖关系与CNN用于检测局部事件模式，在长序列中可有效提升检测效果。

提出的方法

• 采用混合架构，结合LSTM网络以建模事件序列中的长距离依赖关系，以及CNNs以检测恶意事件的局部模式。
• 提出长序列卷积划分（CPoLS）技术，将长序列分割为重叠的、可管理的片段，同时保留序列上下文信息。
• 采用逐段卷积处理流程，从每个片段中提取局部特征，随后通过LSTM对各片段序列进行建模。
• 实施端到端训练策略，通过多种目标联合优化，包括主要的恶意软件分类损失以及辅助损失以增强梯度流动。
• 应用事件嵌入层，学习系统调用的稠密表示，使模型能够捕捉API事件之间的语义关系。
• 采用一种新颖的“Chunkify”方法，将长序列动态划分为固定大小、重叠的片段，实现高效处理，同时不牺牲序列完整性。

实验结果

研究问题

• RQ1 神经网络模型能否有效检测远超标准RNN处理能力的极长API调用序列中的恶意软件？
• RQ2 CPoLS方法在实现长序列高效处理的同时，如何保持序列上下文信息的完整性？
• RQ3 与仅限于短序列的模型相比，混合LSTM-CNN模型在检测准确率方面提升程度如何？
• RQ4 在端到端训练框架中引入辅助损失，能否增强模型对多态恶意软件的鲁棒性与泛化能力？
• RQ5 与截断或采样方法相比，完整序列学习方法在检测具有延迟恶意行为的隐蔽恶意软件方面表现如何？

主要发现

• 所提出的模型在包含634,249个文件序列的大规模数据集上实现了高检测准确率，证明了在完整序列上实现端到端学习的可行性。
• CPoLS方法成功实现了即使在恶意事件深藏于序列内部的情况下仍能检测到恶意软件，克服了传统模型因输入长度受限而带来的局限性。
• 混合LSTM-CNN架构在捕捉局部事件模式和长距离依赖关系方面优于基线模型，对恶意软件检测至关重要。
• 在AoLL模型中引入多目标和辅助损失，有效改善了梯度流动，提升了模型收敛速度与鲁棒性。
• Chunkify方法实现了对可变且极端长度序列的高效处理，在不进行序列截断的情况下保持了高性能。
• 由于能够学习整个序列中事件的共现模式，该模型对多态变种（包括命令重排和插入良性命令）具有强鲁棒性。