[论文解读] Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques

Mohit Kumar Ahuja, Arnaud Gotlieb+1 more|arXiv (Cornell University)|Feb 24, 2022

Adversarial Robustness in Machine Learning参考文献 43被引用 9

一句话总结

本文针对视觉系统（VBS）中的深度学习（DL）模型，开展了一项对比实验研究，比较了六种软件测试技术——差异测试、变形测试、变异测试、组合测试、对抗扰动测试和传统测试——在检测模型故障（尤其是鲁棒性问题和对抗脆弱性）方面的有效性。研究结果表明，结合变形测试与对抗测试等技术可实现最全面的故障检测与模型验证。

ABSTRACT

Deep Learning (DL) has revolutionized the capabilities of vision-based systems (VBS) in critical applications such as autonomous driving, robotic surgery, critical infrastructure surveillance, air and maritime traffic control, etc. By analyzing images, voice, videos, or any type of complex signals, DL has considerably increased the situation awareness of these systems. At the same time, while relying more and more on trained DL models, the reliability and robustness of VBS have been challenged and it has become crucial to test thoroughly these models to assess their capabilities and potential errors. To discover faults in DL models, existing software testing methods have been adapted and refined accordingly. In this article, we provide an overview of these software testing methods, namely differential, metamorphic, mutation, and combinatorial testing, as well as adversarial perturbation testing and review some challenges in their deployment for boosting perception systems used in VBS. We also provide a first experimental comparative study on a classical benchmark used in VBS and discuss its results.

研究动机与目标

• 评估并比较专用于视觉系统（VBS）中深度学习模型的多种软件测试技术的有效性。
• 解决深度学习测试中的关键挑战，包括模型鲁棒性、测试预言机问题、对抗脆弱性以及训练数据质量问题。
• 通过实证方法评估不同测试技术在现实部署场景中检测故障并提升模型可靠性的能力。
• 识别出最有效的测试技术组合，以实现对深度学习模型的全面验证。

提出的方法

• 将五种成熟的软件测试技术——差异测试、变形测试、变异测试、组合测试和对抗扰动测试——适配并应用于视觉系统中的深度学习模型。
• 使用经典的图像分类基准数据集，对模型在各种测试输入下的行为进行受控实验。
• 采用对抗攻击工具（如DeepFool和基于GAN的方法）生成扰动输入，以挑战模型的鲁棒性。
• 应用变异算子生成微小的输入变化，评估模型在输入扰动下的稳定性。
• 利用变形关系定义在输入变换（如图像翻转）下模型输出的预期行为，而无需依赖外部预言机。
• 整合各技术的测试结果，以评估故障检测覆盖率和模型鲁棒性。

实验结果

研究问题

• RQ1 不同测试技术在检测视觉系统中深度学习模型故障方面的有效性如何？
• RQ2 变形测试与差异测试在多大程度上能缓解深度学习模型评估中的预言机问题？
• RQ3 变异测试与对抗扰动测试在暴露模型脆弱性与鲁棒性问题方面表现如何？
• RQ4 每种测试技术在识别模型弱点和提升可靠性方面所作的相对贡献是什么？
• RQ5 哪些测试技术组合能够提供最全面的故障检测与模型验证？

主要发现

• 变形测试与差异测试通过在不依赖真实标签的情况下定义预期输出关系，有效缓解了预言机问题。
• 对抗扰动测试成功暴露了模型的脆弱性，其中一种算法平均仅修改4.02%的输入特征，便实现了97%的对抗成功率。
• 变异测试识别出边界情况及在微小输入变化下的模型不一致性，揭示了模型泛化能力的薄弱点。
• 组合测试揭示了对输入交互作用的敏感性，尤其在复杂视觉任务中，有助于提升鲁棒性评估。
• 变形测试与对抗扰动测试的组合提供了最广泛的故障覆盖范围，优于单一技术。
• 尽管传统评估指标（如准确率）不足以全面评估，但整合多种测试技术可显著提升对模型可靠性与鲁棒性的信心。