[论文解读] Test Selection for Deep Learning Systems

W. F. Mader, Mike Papadakis+3 more|arXiv (Cornell University)|Apr 30, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 8

一句话总结

本文提出了一种基于不确定性的测试选择度量方法，用于深度学习系统，通过模型置信度和Dropout方差来识别挑战模型的样本，从而提升准确率。该方法在微调过程中实现的准确率提升最高达随机选择或最先进度量方法的80%。

ABSTRACT

Testing of deep learning models is challenging due to the excessive number and complexity of computations involved. As a result, test data selection is performed manually and in an ad hoc way. This raises the question of how we can automatically select candidate test data to test deep learning models. Recent research has focused on adapting test selection metrics from code-based software testing (such as coverage) to deep learning. However, deep learning models have different attributes from code such as spread of computations across the entire network reflecting training data properties, balance of neuron weights and redundancy (use of many more neurons than needed). Such differences make code-based metrics inappropriate to select data that can challenge the models (can trigger misclassification). We thus propose a set of test selection metrics based on the notion of model uncertainty (model confidence on specific inputs). Intuitively, the more uncertain we are about a candidate sample, the more likely it is that this sample triggers a misclassification. Similarly, the samples for which we are the most uncertain, are the most informative and should be used to improve the model by retraining. We evaluate these metrics on two widely-used image classification problems involving real and artificial (adversarial) data. We show that uncertainty-based metrics have a strong ability to select data that are misclassified and lead to major improvement in classification accuracy during retraining: up to 80% more gain than random selection and other state-of-the-art metrics on one dataset and up to 29% on the other.

研究动机与目标

• 解决深度学习系统中缺乏系统性、自动化的测试数据选择问题。
• 克服基于代码的测试度量方法（如代码覆盖率）无法捕捉深度神经网络模型行为的局限性。
• 通过聚焦于决策边界附近的模型不确定性，识别最可能引发误分类的测试输入。
• 评估基于不确定性的度量方法是否能在通过微调提升模型准确率方面优于随机选择和现有最先进度量方法。
• 为自学习深度学习系统中的测试有效性评估提供一种实用且客观的框架。

提出的方法

• 提出基于模型不确定性的测试选择度量方法，通过蒙特卡洛Dropout方法估算：通过多次随机丢弃神经元并测量预测方差来估计不确定性。
• 将模型输出的概率（置信度）作为独立的确定性度量，并与Dropout方差结合，以提升敏感度。
• 定义多种充分性度量：方差（Var）、Kullback-Leibler散度（KL）、标签特定激活（LSA）和最小激活距离（DSA），以及加权方差（Var_w）和基于概率的冲突解决机制。
• 在两个图像分类基准数据集CIFAR-10和MNIST上评估度量方法，使用真实输入和对抗性输入。
• 评估度量方法与误分类之间的相关性，并测量使用所选数据进行微调后准确率的提升。
• 通过迭代微调方法，每次迭代将前5,000个得分最高的样本加入训练集，跟踪各轮次的验证准确率。

实验结果

研究问题

• RQ1 基于不确定性的度量方法能否有效识别出深度学习模型误分类的输入？
• RQ2 与随机选择和最先进度量方法（如surprise adequacy）相比，基于不确定性的度量方法在触发误分类方面表现如何？
• RQ3 当用于指导数据微调时，基于不确定性的度量方法在多大程度上提升了模型准确率？
• RQ4 与真实且正确分类的输入相比，这些度量方法在对抗性输入上的表现如何？
• RQ5 不确定度度量是否能加速微调过程中的模型收敛？

主要发现

• 在对抗性CIFAR-10数据上，基于不确定性的度量方法（尤其是Var和KL）与误分类表现出强相关性（Kendall’s tau = 0.8099）。
• 在MNIST上，结合基于概率的冲突解决机制后，经过三次微调迭代，度量方法实现了2.7%的验证准确率提升，优于随机选择以及LSA/DSA方法。
• 在MNIST数据集上，所提出的度量方法在三次迭代后，准确率提升最高达随机选择和最先进度量方法的80%。
• 在CIFAR-10上，与基线方法相比，度量方法实现了29%的准确率提升，其中Var和P表现最佳。
• 使用不确定度选择数据进行训练的模型收敛更快，尤其在中间训练阶段，验证准确率曲线显示了这一优势。
• 由于对抗性扰动引入了较高的固有不确定性，导致度量方法在对抗性数据上的有效性降低，其区分能力减弱。