[论文解读] On Training Robust PDF Malware Classifiers

Yizheng Chen, Shiqi Wang+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Malware Detection Techniques参考文献 55被引用 6

一句话总结

本文提出了一种基于新型PDF树状结构距离度量的可验证鲁棒性训练方法，用于PDF恶意软件分类器，以增强对子树插入和删除攻击的鲁棒性。该方法在保持99.74%测试准确率和0.56%误报率的同时，实现了92.27%的平均可验证鲁棒准确率，显著提高了有界和无界攻击者的规避成本。

ABSTRACT

Although state-of-the-art PDF malware classifiers can be trained with almost perfect test accuracy (99%) and extremely low false positive rate (under 0.1%), it has been shown that even a simple adversary can evade them. A practically useful malware classifier must be robust against evasion attacks. However, achieving such robustness is an extremely challenging task. In this paper, we take the first steps towards training robust PDF malware classifiers with verifiable robustness properties. For instance, a robustness property can enforce that no matter how many pages from benign documents are inserted into a PDF malware, the classifier must still classify it as malicious. We demonstrate how the worst-case behavior of a malware classifier with respect to specific robustness properties can be formally verified. Furthermore, we find that training classifiers that satisfy formally verified robustness properties can increase the evasion cost of unbounded (i.e., not bounded by the robustness properties) attackers by eliminating simple evasion attacks. Specifically, we propose a new distance metric that operates on the PDF tree structure and specify two classes of robustness properties including subtree insertions and deletions. We utilize state-of-the-art verifiably robust training method to build robust PDF malware classifiers. Our results show that, we can achieve 92.27% average verified robust accuracy over three properties, while maintaining 99.74% accuracy and 0.56% false positive rate. With simple robustness properties, our robust model maintains 7% higher robust accuracy than all the baseline models against unrestricted whitebox attacks. Moreover, the state-of-the-art and new adaptive evolutionary attackers need up to 10 times larger $L_0$ feature distance and 21 times more PDF basic mutations (e.g., inserting and deleting objects) to evade our robust model than the baselines.

研究动机与目标

• 为解决当前最先进的PDF恶意软件分类器在鲁棒性方面的关键缺陷，这些分类器尽管准确率高、误报率低，但仍易受简单变换的规避攻击。
• 开发可形式化验证的鲁棒性属性，以正式约束分类器在特定对抗性操作（如插入或删除PDF树子树）下的最坏行为。
• 训练分类器，使其在保持高准确率和低误报率的同时，显著提高无界攻击者规避模型的成本。
• 证明可验证鲁棒性训练即使在超出指定鲁棒性约束的情况下，也能提高对高级攻击者的防御门槛。

提出的方法

• 提出一种作用于PDF树层次结构的新距离度量，用于量化因子树插入或删除引起的语义和语法变化。
• 定义两类可验证鲁棒性属性：子树插入鲁棒性和子树删除鲁棒性，确保在这些修改下分类器输出仍保持为恶意。
• 采用最先进的可验证鲁棒性训练技术，基于符号区间分析，正式验证鲁棒性边界。
• 使用与可验证鲁棒性训练兼容的神经网络架构，避免传统模型（如随机森林）的局限性。
• 采用自适应进化攻击和特征空间攻击评估鲁棒性，包括专门针对训练后鲁棒性属性设计的攻击。
• 通过$L_0$特征距离和规避模型所需的PDF基本变异次数（如对象插入/删除）来量化攻击者成本。

实验结果

研究问题

• RQ1 能否为PDF恶意软件分类器形式化定义并强制实施可验证鲁棒性属性，以确保在子树插入或删除等结构修改下，分类结果保持一致为恶意？
• RQ2 在训练中引入可验证鲁棒性属性是否能显著提高无界攻击者（不受指定属性约束）的规避成本？
• RQ3 是否能在不显著降低标准准确率或增加误报率的前提下实现鲁棒性训练？
• RQ4 所提出方法在抵抗特征空间和应用空间规避攻击方面，与基线模型相比表现如何？

主要发现

• 所提方法在三种鲁棒性属性上实现了92.27%的平均可验证鲁棒准确率，测试准确率为99.74%，误报率为0.56%。
• 在无限制白盒攻击下，该鲁棒模型的鲁棒准确率比所有基线模型高出7%。
• 最先进的自适应攻击者需将$L_0$特征距离扩大至基线模型的10倍，且需多出21倍的PDF基本变异次数，才能成功规避该鲁棒模型。
• 在三周后，'移动与分散'组合攻击使Robust A+C+E模型的鲁棒性评估准确率降至44%，表明存在过早收敛现象，且模型具备极高的规避难度。
• Monotonic 100和Robust A+B模型分别仅需1个和263个可规避PDF即可被攻破，表明其对攻击具有显著更强的抵抗能力。
• 结果证实，即使对未受指定属性约束的攻击者，可验证鲁棒性训练也能显著提高其规避成本，验证了其作为防御机制的有效性。