[论文解读] Testing Deep Neural Network based Image Classifiers.

Yuchi Tian, Ziyuan Zhong+2 more|arXiv (Cornell University)|May 20, 2019

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了 DeepInspect，一种白盒测试工具，通过分析模型在各类之间的行为，检测基于深度神经网络（DNN）的图像分类器中的群体级混淆与偏见。该工具识别出数百起分类错误，并揭示了对某些人群的偏见，包括在最先进的鲁棒模型中。

ABSTRACT

Image classification is an important task in today's world with many applications from socio-technical to safety-critical domains. The recent advent of Deep Neural Network (DNN) is the key behind such a wide-spread success. However, such wide adoption comes with the concerns about the reliability of these systems, as several erroneous behaviors have already been reported in many sensitive and critical circumstances. Thus, it has become crucial to rigorously test the image classifiers to ensure high reliability. Many reported erroneous cases in popular neural image classifiers appear because the models often confuse one class with another, or show biases towards some classes over others. These errors usually violate some group properties. Most existing DNN testing and verification techniques focus on per image violations and thus fail to detect such group-level confusions or biases. In this paper, we design, implement and evaluate DeepInspect, a white box testing tool, for automatically detecting confusion and bias of DNN-driven image classification applications. We evaluate DeepInspect using popular DNN-based image classifiers and detect hundreds of classification mistakes. Some of these cases are able to expose potential biases of the network towards certain populations. DeepInspect further reports many classification errors in state-of-the-art robust models.

研究动机与目标

• 解决缺乏检测基于 DNN 的图像分类器中群体级混淆与偏见的测试方法的问题。
• 识别由模型在类别之间混淆或对特定人群不公平偏见导致的分类错误。
• 开发一种白盒测试方法，能够揭示超越单张图像违规的系统性缺陷。
• 评估该方法在主流和鲁棒 DNN 图像分类器上的有效性。
• 揭示传统测试方法所遗漏的隐藏偏见与误分类。

提出的方法

• DeepInspect 通过检查模型隐藏层中多个类别之间的激活模式与决策边界，对 DNN 图像分类器进行白盒分析。
• 通过测量模型隐藏层中类别表征的相似性，识别潜在的混淆。
• 该工具通过比较不同人口统计或语义群体图像的分类行为，进行群体级分析以检测偏见。
• 应用统计与结构检查，检测预测分布中的异常，以提示偏见或混淆。
• DeepInspect 利用基于梯度和基于激活的度量，检测细微但系统性的误分类。
• 该工具在最先进的模型上进行了评估，包括鲁棒模型和对抗训练的网络。

实验结果

研究问题

• RQ1 白盒测试方法能否检测到传统单图像测试所遗漏的图像类别之间的群体级混淆？
• RQ2 DNN 基于图像分类器在多大程度上对某些类别或人群表现出偏见？
• RQ3 DeepInspect 在揭示鲁棒和最先进的模型中的分类错误方面有多有效？
• RQ4 通过群体级分析揭示了哪些类型的系统性误分类？
• RQ5 DeepInspect 能否检测到标准评估指标下不明显的偏见？

主要发现

• DeepInspect 在主流 DNN 图像分类器中检测到数百起传统测试方法未暴露的分类错误。
• 该工具发现了模型对特定人群潜在的偏见，表明分类结果中存在系统性不公平。
• 在最先进的鲁棒模型中也发现了若干分类错误，表明鲁棒性并不保证在群体层面的公平性或准确性。
• 识别出语义上相似类别之间的群体级混淆，揭示了模型决策边界的不稳定性。
• 分析表明，单图像测试不足以检测在类别之间浮现的结构性偏见与混淆。
• DeepInspect 表明，白盒、群体感知的测试对于确保基于 DNN 的图像分类的可靠性与公平性至关重要。