[论文解读] RobOT: Robustness-Oriented Testing for Deep Learning Systems

Jingyi Wang, Jialuo Chen+5 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用 4

一句话总结

本文提出 RobOT，一种面向鲁棒性的测试框架，采用一种新颖的度量指标 FOL（特征级异常值似然），以指导测试用例生成与再训练。通过优先选择最能提升模型鲁棒性的测试用例，RobOT 实现了 67.02% 的对抗鲁棒性提升——比当前最先进方法 DeepGini 高出 50.65%。

ABSTRACT

Recently, there has been a significant growth of interest in applying software engineering techniques for the quality assurance of deep learning (DL) systems. One popular direction is deep learning testing, where adversarial examples (a.k.a.~bugs) of DL systems are found either by fuzzing or guided search with the help of certain testing metrics. However, recent studies have revealed that the commonly used neuron coverage metrics by existing DL testing approaches are not correlated to model robustness. It is also not an effective measurement on the confidence of the model robustness after testing. In this work, we address this gap by proposing a novel testing framework called Robustness-Oriented Testing (RobOT). A key part of RobOT is a quantitative measurement on 1) the value of each test case in improving model robustness (often via retraining), and 2) the convergence quality of the model robustness improvement. RobOT utilizes the proposed metric to automatically generate test cases valuable for improving model robustness. The proposed metric is also a strong indicator on how well robustness improvement has converged through testing. Experiments on multiple benchmark datasets confirm the effectiveness and efficiency of RobOT in improving DL model robustness, with 67.02% increase on the adversarial robustness that is 50.65% higher than the state-of-the-art work DeepGini.

研究动机与目标

• 填补现有深度学习测试方法依赖神经元覆盖率度量但与实际模型鲁棒性相关性极低的空白。
• 开发一种将模型再训练与测试用例生成相结合的测试框架，确保鲁棒性提升可度量且有效。
• 提出一种轻量级、与鲁棒性强相关的度量指标（FOL），用于量化每个测试用例在提升模型鲁棒性方面的价值。
• 通过所提度量作为收敛指示器，实现鲁棒性提升的收敛检测。
• 为安全关键应用中提升模型对对抗样本的鲁棒性，提供端到端解决方案。

提出的方法

• 提出 FOL（特征级异常值似然）作为新颖度量指标，用于量化测试用例对提升模型鲁棒性的贡献程度。
• 利用 FOL 指导基于模糊测试的测试用例生成策略，优先选择最可能暴露并改善模型脆弱性的输入。
• 将迭代式再训练集成到测试流程中，使用基于高 FOL 测试用例生成的对抗样本对模型进行再训练。
• 利用 FOL 作为收敛度量，判断鲁棒性提升是否已达到平台期，从而减少不必要的再训练周期。
• 设计反馈循环，根据 FOL 分数迭代优化测试用例生成与模型再训练，以最大化鲁棒性增益。

实验结果

研究问题

• RQ1 与传统神经元覆盖率度量相比，所提出的 FOL 度量在多大程度上与实际模型鲁棒性提升相关？
• RQ2 FOL 指导的测试用例生成能否在提升模型鲁棒性方面，比基于覆盖率的方法生成更有效的对抗样本？
• RQ3 RobOT 在对抗鲁棒性增益方面，与 DeepGini 和 ADAPT 等最先进方法相比表现如何？
• RQ4 FOL 度量能否有效指示鲁棒性提升的收敛，从而减少冗余测试与再训练？

主要发现

• RobOT 在基准数据集上实现了 67.02% 的对抗鲁棒性提升，显著优于现有方法。
• RobOT 的提升幅度比最先进方法 DeepGini 高出 50.65%，证明其具有更优的有效性。
• FOL 指导的测试用例生成发现的对抗样本更具价值，相比 ADAPT 实现了 39.67% 的平均鲁棒性增益，而 ADAPT 仅为 24.79%。
• FOL 度量与实际鲁棒性提升具有强相关性，可在测试过程中实现可靠的收敛检测。
• 实验结果证实，高 FOL 分数的测试用例在再训练后始终带来更大的鲁棒性增益，验证了该度量的预测能力。