[论文解读] Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations

Yongqiang Tian, Shiqing Ma+4 more|arXiv (Cornell University)|Sep 6, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

本文提出一种元测试方法，用于评估图像分析的深度学习模型在推理过程中是否依赖于与目标物体相关的特征。通过引入两种新颖的元关系——保留目标对象的变异（object-preserving）和移除目标对象的变异（object-removing），该方法利用目标相关性得分量化推理的可靠性，发现图像分类器中超过5.3%的top-5预测结果以及目标检测器中8.5%的预测结果基于无关特征，从而可实现更有效的对抗性攻击。

ABSTRACT

Deep learning models are widely used for image analysis. While they offer high performance in terms of accuracy, people are concerned about if these models inappropriately make inferences using irrelevant features that are not encoded from the target object in a given image. To address the concern, we propose a metamorphic testing approach that assesses if a given inference is made based on irrelevant features. Specifically, we propose two novel metamorphic relations to detect such inappropriate inferences. We applied our approach to 10 image classification models and 10 object detection models, with three large datasets, i.e., ImageNet, COCO, and Pascal VOC. Over 5.3% of the top-5 correct predictions made by the image classification models are subject to inappropriate inferences using irrelevant features. The corresponding rate for the object detection models is over 8.5%. Based on the findings, we further designed a new image generation strategy that can effectively attack existing models. Comparing with a baseline approach, our strategy can double the success rate of attacks.

研究动机与目标

• 为解决深度学习模型可能基于无关背景特征而非目标物体特征进行推理这一关键问题。
• 开发一种无需依赖真实标签的测试框架，以评估模型推理中的目标相关性。
• 量化模型预测在图像分类和目标检测模型中对目标相关特征与目标无关特征的依赖程度。
• 设计一种新的图像生成策略，利用模型的漏洞以提高对抗性攻击的成功率。
• 提供一种新颖且可度量的指标——目标相关性得分，用于评估图像分析深度学习模型推理的可靠性。

提出的方法

• 提出两种新颖的元关系：MR-1（保留目标对象的变异）和MR-2（移除目标对象的变异），用于测试推理的一致性。
• 应用图像变异操作，在保持其他图像区域不变的同时，保留或移除目标对象。
• 利用生成的变异图像评估模型预测是否满足元关系。
• 基于原始预测与变异预测之间的一致性程度，计算目标相关性得分。
• 利用目标相关性得分指导一种新的图像生成策略，以提升对抗性攻击的成功率。
• 采用元测试验证模型行为，无需重新训练或真实标签。

实验结果

研究问题

• RQ1 预训练的图像分析深度学习模型在多大程度上依赖于与目标无关的特征进行预测？
• RQ2 元测试能否有效用于检测深度学习模型中基于无关特征的推理？
• RQ3 如何形式化定义并计算目标相关性得分，以量化模型预测对相关特征的依赖程度？
• RQ4 目标相关性得分能否用于提升对深度学习模型的对抗性攻击的有效性？
• RQ5 在多种图像分类和目标检测模型中，基于背景特征的不可靠推理普遍存在吗？

主要发现

• 图像分类模型中超过5.3%的top-5正确预测基于与目标无关的特征，表明其广泛依赖非目标特征。
• 对于目标检测模型，基于无关特征的推理比例超过8.5%，凸显此类模型中该问题更为严重。
• 所提出的对象相关性得分能有效识别出依赖背景或无关图像区域进行不可靠推理的模型。
• 基于对象相关性得分指导的新图像生成策略，使对抗性攻击的成功率相比基线方法翻倍。
• 研究结果表明，许多广泛使用的预训练模型容易受到利用无关特征依赖性的攻击。
• 研究揭示，当前的测试技术往往无法检测到此类漏洞，因为它们未评估模型推理中的目标相关性。