[论文解读] Why an Android App is Classified as Malware? Towards Malware Classification Interpretation

Bozhi Wu, Sen Chen+5 more|arXiv (Cornell University)|Apr 24, 2020

Advanced Malware Detection Techniques参考文献 66被引用 8

一句话总结

本文提出 XMal，一种用于 Android 恶意软件检测的新型可解释机器学习框架，结合多层感知机与定制化注意力机制，以识别关键特征并生成恶意行为的自然语言解释。XMal 在检测准确率方面表现优异，并在可解释性方面优于 LIME 和 Drebin，通过注意力驱动的特征加权和人类可读描述，准确地将模型决策与领域特定的恶意软件行为关联起来。

ABSTRACT

Machine learning (ML) based approach is considered as one of the most promising techniques for Android malware detection and has achieved high accuracy by leveraging commonly-used features. In practice, most of the ML classifications only provide a binary label to mobile users and app security analysts. However, stakeholders are more interested in the reason why apps are classified as malicious in both academia and industry. This belongs to the research area of interpretable ML but in a specific research domain (i.e., mobile malware detection). Although several interpretable ML methods have been exhibited to explain the final classification results in many cutting-edge Artificial Intelligent (AI) based research fields, till now, there is no study interpreting why an app is classified as malware or unveiling the domain-specific challenges. In this paper, to fill this gap, we propose a novel and interpretable ML-based approach (named XMal) to classify malware with high accuracy and explain the classification result meanwhile. (1) The first classification phase of XMal hinges multi-layer perceptron (MLP) and attention mechanism, and also pinpoints the key features most related to the classification result. (2) The second interpreting phase aims at automatically producing neural language descriptions to interpret the core malicious behaviors within apps. We evaluate the behavior description results by comparing with the existing interpretable ML-based methods (i.e., Drebin and LIME) to demonstrate the effectiveness of XMal. We find that XMal is able to reveal the malicious behaviors more accurately. Additionally, our experiments show that XMal can also interpret the reason why some samples are misclassified by ML classifiers. Our study peeks into the interpretable ML through the research of Android malware detection and analysis.

研究动机与目标

• 为解决基于机器学习的 Android 恶意软件检测中可解释性不足的问题，即仅提供二元标签而无法解释为何某应用被分类为恶意。
• 开发一种方法，通过识别最具影响力的特征并将它们转化为人类可理解的恶意行为描述，来解释恶意软件分类结果。
• 克服现有可解释机器学习方法（如 LIME 和 Drebin）的局限性，这些方法未能考虑特征相关性，并在恶意软件检测中产生不匹配或低保真度的解释。
• 使安全分析师和应用商店不仅能理解某个应用是否恶意，还能精确了解模型做出该判断的依据和原因。
• 通过可解释分析揭示潜在的误分类和对抗性漏洞，从而提升模型的鲁棒性。

提出的方法

• XMal 采用两阶段方法：首先，使用带有定制化注意力机制的多层感知机（MLP）将应用分类为恶意或良性，同时识别最相关的特征。
• 通过全连接网络计算注意力权重，将注意力机制适配于标量特征，以反映每个特征在分类决策中的重要性。
• 第二阶段通过预定义的恶意软件语义知识库，将加权最高的特征映射为语义解释，生成恶意行为的自然语言描述。
• 模型端到端训练，以联合优化分类准确率和忠实的注意力驱动特征归因。
• 通过注意力机制保留特征相关性，避免了 LIME 等方法常见的线性近似缺陷。
• 通过人工评估和定量分析对框架进行评估，以验证生成解释的质量和保真度。

实验结果

研究问题

• RQ1 如何在二元分类标签之外，进一步提升基于机器学习的 Android 恶意软件检测模型的可解释性？
• RQ2 定制化注意力机制在特征相互依赖的情况下，能在多大程度上准确识别恶意软件分类中最具影响力的特征？
• RQ3 生成的恶意行为自然语言描述是否对安全分析师而言既准确又具有语义意义？
• RQ4 在与实际恶意软件行为的相关性和保真度方面，XMal 的可解释性与 LIME 和 Drebin 等现有方法相比如何？
• RQ5 XMal 是否能够揭示基于机器学习的恶意软件检测器中误分类的根本原因，从而增强模型的透明度和鲁棒性？

主要发现

• XMal 在检测准确率方面达到与最先进模型相当的水平，同时提供对恶意行为的可解释性说明。
• XMal 中的注意力机制有效捕捉了特征依赖关系，优于依赖局部线性近似的 LIME，后者无法建模特征相关性。
• 人工评估证实，XMal 生成的自然语言描述比 LIME 和 Drebin 更准确且语义更清晰。
• XMal 成功识别并解释了核心恶意行为，如未经授权的数据外泄、短信群发和权限提升，与真实恶意软件语义高度一致。
• 该框架通过突出显示误导性或对抗性扰动的特征，揭示了误分类的原因，展示了更强的鲁棒性分析能力。
• 定量分析表明，XMal 的解释保真度更优，其注意力权重与已知恶意软件行为模式高度匹配。