[论文解读] Towards Practical Verification of Machine Learning: The Case of Computer Vision Systems

Kexin Pei, Zhu, Linjie+4 more|arXiv (Cornell University)|Dec 5, 2017

Adversarial Robustness in Machine Learning参考文献 35被引用 71

一句话总结

本文提出 VeriVis，一种用于在真实世界变换下测试计算机视觉系统安全属性的黑盒验证框架，发现了成千上万的违规行为，并使部分验证和再训练成为可能，以降低违规行为。

ABSTRACT

Due to the increasing usage of machine learning (ML) techniques in security- and safety-critical domains, such as autonomous systems and medical diagnosis, ensuring correct behavior of ML systems, especially for different corner cases, is of growing importance. In this paper, we propose a generic framework for evaluating security and robustness of ML systems using different real-world safety properties. We further design, implement and evaluate VeriVis, a scalable methodology that can verify a diverse set of safety properties for state-of-the-art computer vision systems with only blackbox access. VeriVis leverage different input space reduction techniques for efficient verification of different safety properties. VeriVis is able to find thousands of safety violations in fifteen state-of-the-art computer vision systems including ten Deep Neural Networks (DNNs) such as Inception-v3 and Nvidia's Dave self-driving system with thousands of neurons as well as five commercial third-party vision APIs including Google vision and Clarifai for twelve different safety properties. Furthermore, VeriVis can successfully verify local safety properties, on average, for around 31.7% of the test images. VeriVis finds up to 64.8x more violations than existing gradient-based methods that, unlike VeriVis, cannot ensure non-existence of any violations. Finally, we show that retraining using the safety violations detected by VeriVis can reduce the average number of violations up to 60.2%.

研究动机与目标

• 在安全关键领域（如自动系统、医学诊断）中推动对 ML 系统进行鲁棒验证的需求。
• 在现实攻击者能力下为输入输出安全属性定义一个通用框架。
• 开发 VeriVis，使用黑盒分析对最先进的视觉系统的安全属性进行验证。
• 通过在多种 DNN、商业 API 和自动驾驶汽车模型上进行评估来展示可扩展性。

提出的方法

• 提出一个在输入-输出空间中、包含变换 T(I;c) 的 ML 安全属性形式化框架。
• 将图像变换分解为 Dependent Pixels(DP) 与 Dependence Function(DF)，以实现空间缩减。
• 引入关键参数值，将变换参数空间缩减为一个有限集合，同时不丢失唯一输出。
• 应用黑盒、动态分析方法，在 12 种变换和 15 种视觉系统上验证属性。
• 证明在现实变换下，唯一输出的数量是输入规模的多项式量级，从而实现可扩展验证。

实验结果

研究问题

• RQ1 可以使用黑盒方法在计算机视觉系统上验证哪些现实世界的安全属性？
• RQ2 在不影响验证保证的前提下，如何减少图像变换的输入空间？
• RQ3 VeriVis 在多样化的视觉模型和 API 上能检测到多少安全属性违规？
• RQ4 基于 VeriVis 发现的违规进行再训练，是否能减少未来违规并提升鲁棒性？

主要发现

• VeriVis 在15个视觉系统中发现数千项安全属性违规，包括六个 ImageNet 分类器、五个商业 API 和四个自动驾驶汽车模型。
• VeriVis 比现有基于梯度的方法最多发现 64.8 倍的违规。
• 平均而言，VeriVis 可以对测试图像中的约 31.7% 验证所测试的安全属性。
• 用违规生成数据进行再训练可将平均违规数量降低多达 60.2%。
• 评估涵盖 12 项安全属性和 15 种系统，展示了该方法的广泛适用性。