[论文解读] Search Based Repair of Deep Neural Networks.

Jeongju Sohn, Sungmin Kang+1 more|arXiv (Cornell University)|Dec 28, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 23

一句话总结

本文提出 Arachne，一种基于搜索的深度神经网络（DNN）修复技术，利用基于敏感度的故障定位和粒子群优化（PSO）仅修改一小部分神经权重，以纠正误分类。该方法在无需额外训练数据的情况下，将 CIFAR-10 分类器中最常见的误分类类型减少了 27.5%，生成的补丁比重新训练更加精准和聚焦。

ABSTRACT

Deep Neural Networks (DNNs) are being adopted in various domains, including safety critical ones. The wide-spread adoption also calls for ways to guide the testing of their accuracy and robustness, for which various test adequacy criteria and input generation methods have been recently introduced. In this paper, we explore the natural subsequent step: given an input that reveals unexpected behaviour in a trained DNN, we propose to repair the DNN using input-output pairs as a specification. This paper introduces Arachne, a novel program repair technique for DNNs. Arachne first performs sensitivity based fault localisation to limit the number of neural weights it has to modify. Subsequently, Arachne uses Particle Swarm Optimisation (PSO) to directly optimise the localised neural weights until the behaviour is corrected. An empirical study using three different benchmark datasets shows that Arachne can reduce the instances of the most frequent misclassification type committed by a pre-trained CIFAR-10 classifier by 27.5%, without any need for additional training data. Patches generated by Arachne tend to be more focused on the targeted misbehaviour than DNN retraining, which is more disruptive to non-targeted behaviour. The overall results suggest the feasibility of patching DNNs using Arachne until they can be retrained properly.

研究动机与目标

• 为解决检测到误分类后缺乏系统性 DNN 修复方法的问题。
• 开发一种利用输入-输出对作为规范来修复 DNN 行为的技术，避免完整重新训练。
• 通过仅聚焦于最敏感的权重来最小化对非目标行为的干扰。
• 评估基于搜索的修复在提升 DNN 鲁棒性和准确率方面的可行性与有效性。

提出的方法

• Arachne 首先通过基于敏感度的故障定位识别导致误分类的最具影响力的权重。
• 然后应用粒子群优化（PSO）直接优化已定位的权重，以纠正 DNN 的行为。
• 修复过程使用输入-输出对作为规范，引导优化过程以获得正确输出。
• PSO 迭代调整选定权重，以最小化预测输出与期望输出之间的损失。
• 该方法避免重新训练整个网络，从而保留原始模型在非目标输入上的行为。
• 该方法在三个基准数据集（包括 CIFAR-10）上进行了评估，以检验修复的有效性与针对性。

实验结果

研究问题

• RQ1 仅使用输入-输出对作为规范，基于搜索的方法能否有效修复 DNN？
• RQ2 与完整重新训练相比，Arachne 在减少目标误分类方面的修复质量如何？
• RQ3 Arachne 在多大程度上最小化了对非目标输入的非预期副作用？
• RQ4 基于敏感度的故障定位在多大程度上缩小了修复的搜索空间？

主要发现

• Arachne 将预训练的 CIFAR-10 分类器中最常见误分类类型减少了 27.5%。
• Arachne 生成的补丁比完整重新训练更专注于仅纠正目标误行为。
• Arachne 在无需任何额外训练数据的情况下完成修复。
• 与重新训练相比，Arachne 更有效地保留了原始模型在非目标输入上的行为。
• 基于敏感度的故障定位成功缩小了需要修改的权重数量，提升了效率。