[论文解读] TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks

Yu Li, Min Li+3 more|arXiv (Cornell University)|May 21, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用 13

一句话总结

TestRank 是一种用于深度学习模型的新型测试用例优先级排序框架，通过结合目标模型输出的内在特征（intrinsic features）与基于图神经网络（GNN）的相似性图中提取的上下文特征，对未标记的测试用例进行排序。该方法显著提升了调试效率，在多个基线方法上平均提升了 +0.95% 的 ATPF，同时通过优先处理高影响力、能揭示缺陷的测试用例，降低了标注成本。

ABSTRACT

Deep learning (DL) has achieved unprecedented success in a variety of tasks. However, DL systems are notoriously difficult to test and debug due to the lack of explainability of DL models and the huge test input space to cover. Generally speaking, it is relatively easy to collect a massive amount of test data, but the labeling cost can be quite high. Consequently, it is essential to conduct test selection and label only those selected "high quality" bug-revealing test inputs for test cost reduction. In this paper, we propose a novel test prioritization technique that brings order into the unlabeled test instances according to their bug-revealing capabilities, namely TestRank. Different from existing solutions, TestRank leverages both intrinsic attributes and contextual attributes of test instances when prioritizing them. To be specific, we first build a similarity graph on test instances and training samples, and we conduct graph-based semi-supervised learning to extract contextual features. Then, for a particular test instance, the contextual features extracted from the graph neural network (GNN) and the intrinsic features obtained with the DL model itself are combined to predict its bug-revealing probability. Finally, TestRank prioritizes unlabeled test instances in descending order of the above probability value. We evaluate the performance of TestRank on a variety of image classification datasets. Experimental results show that the debugging efficiency of our method significantly outperforms existing test prioritization techniques.

研究动机与目标

• 解决深度学习系统中大规模未标记测试数据标注成本过高的问题。
• 通过利用标记与未标记数据中的内在模型行为和上下文信息，提升测试用例优先级排序效果。
• 在人工标注前识别出高影响力、能揭示缺陷的测试用例，从而减少调试工作量。
• 探索基于图的半监督学习在提升深度学习测试用例优先级排序效果方面的有效性。
• 评估在大规模测试数据场景下，计算效率与性能之间的权衡。

提出的方法

• 使用 k-最近邻（k-NN）方法构建相似性图，连接未标记测试用例与历史标记样本（训练数据和测试用例 oracle）。
• 在相似性图上应用图神经网络（GNN），提取反映局部数据分布与模型行为模式的上下文特征。
• 将 GNN 提取的上下文特征与目标深度学习模型输出的内在特征（如 softmax 概率、不确定性分数）进行融合，用于每个测试用例。
• 训练一个神经网络分类器，基于融合后的特征预测每个未标记测试用例揭示缺陷的概率。
• 根据预测的缺陷揭示概率，按降序对未标记测试用例进行优先级排序，以实现高效标注。
• 采用近似技术构建 k-NN 图，以在性能损失可接受的前提下降低计算成本。

实验结果

研究问题

• RQ1 将目标模型的内在输出与来自标记和未标记数据的上下文特征相结合，能否提升深度学习中的测试用例优先级排序？
• RQ2 基于图神经网络的上下文特征提取在识别高影响力、缺陷揭示性测试用例方面效果如何？
• RQ3 使用独立的无监督特征提取器与目标模型内部特征相比，对测试用例优先级排序性能有何影响？
• RQ4 k-NN 图近似技术对大规模测试数据中测试用例优先级排序的效率与准确性有何影响？
• RQ5 构建相似性图时，k（邻居数量）的最优范围是什么，以在上下文丰富性与噪声之间取得平衡？

主要发现

• TestRank 在多个数据集上相较现有基线方法，平均 ATPF（平均测试用例优先级 F1）提升 +0.95%，证明其在调试效率方面表现更优。
• 将无监督特征提取器替换为目标模型内部层后，平均 ATPF 下降 6.23%，证明独立的无监督特征提取器对实现最优性能至关重要。
• k-NN 图近似技术在仅造成平均 0.95% 性能下降的前提下显著降低了计算成本，使其适用于大规模测试数据场景。
• 该方法在 k 值范围（20–800）内均表现稳健，当 k 既不太小也不太大时性能最优，表明其在超参数调优方面具有高度灵活性。
• 在 STL10 数据集上，当 k > 20 时，TestRank 的 ATPF 相较最佳基线提升 69.70%，证实其在不同模型架构与数据分布下均具有一致的有效性。
• 该框架通过优先处理高缺陷揭示潜力的测试用例，显著降低了标注成本，该结论已在 SVHN、CIFAR-10、CIFAR-100 和 STL10 等图像分类基准上得到验证。