[论文解读] VERIFAI: A Toolkit for the Design and Analysis of Artificial Intelligence-Based Systems

Tommaso Dreossi, Daniel J. Fremont+5 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用 12

一句话总结

VerifAI 是一个用于基于人工智能/机器学习的网络物理系统的正式验证工具包，通过集成仿真、形式化规范和概率性环境建模，实现系统级分析。它支持时序逻辑 falsification（伪阳性检测）、基于反例的数据增强、超参数与参数合成，以及通过语义特征空间和基于 Scenic 的环境建模实现的鲁棒性测试，在自动驾驶和控制系统用例中实现了经验证的系统行为改进。

ABSTRACT

We present VERIFAI, a software toolkit for the formal design and analysis of systems that include artificial intelligence (AI) and machine learning (ML) components. VERIFAI particularly seeks to address challenges with applying formal methods to perception and ML components, including those based on neural networks, and to model and analyze system behavior in the presence of environment uncertainty. We describe the initial version of VERIFAI which centers on simulation guided by formal models and specifications. Several use cases are illustrated with examples, including temporal-logic falsification, model-based systematic fuzz testing, parameter synthesis, counterexample analysis, and data set augmentation.

研究动机与目标

• 解决在安全关键型网络物理系统中验证具有感知与学习组件的 AI/ML 系统所面临的挑战。
• 通过使用系统级属性和抽象的语义特征空间，而非原始传感器数据，来克服感知组件形式化规格定义的困难。
• 通过基于反例的数据增强、参数合成和超参数调优，实现对机器学习组件的正式分析与设计。
• 提供一个统一的基于仿真的验证框架，将形式化方法与数据驱动的机器学习工作流相结合。
• 通过在语义特征上的引导式搜索，支持在复杂且不确定的环境中进行鲁棒性分析与规范违反检测。

提出的方法

• 使用由 AI 系统（感知、规划/控制器、被控对象）和环境模型组成的闭环 CPS 模型，将系统级规范作为验证目标。
• 采用语义特征空间抽象，以有意义的环境属性表示高维输入（如图像、激光雷达），从而实现可扩展的形式化分析。
• 集成 Scenic（一种概率编程语言），以声明式方式建模包含智能体数量、位置和行为的不确定环境。
• 应用基于仿真的伪阳性检测，利用时序逻辑属性在 AI/ML 组件中发现规范违反。
• 通过从伪阳性检测器生成误分类样本并用于模型再训练，实现基于反例的引导式数据增强。
• 通过在语义特征空间上的引导式搜索，支持超参数与模型参数合成，以 OpenAI Gym 等环境中的奖励函数作为优化标准。

实验结果

研究问题

• RQ1 当感知组件缺乏形式化规格时，如何有效应用形式化方法来验证网络物理系统中的 AI/ML 组件？
• RQ2 语义特征空间与概率性环境建模在多大程度上能提升 AI 系统基于仿真的验证的可扩展性与真实性？
• RQ3 基于反例的数据增强是否能显著提升安全关键应用中训练好的机器学习模型的鲁棒性与准确性？
• RQ4 在复杂且不确定的环境中，基于语义特征的引导式搜索在发现系统级规范违反方面的有效性如何？
• RQ5 形式化合成超参数与模型参数在提升学习控制器的可靠性与性能方面发挥什么作用？

主要发现

• VerifAI 在 1,000 个采样的参数配置中，成功检测出 38 个关于小车-滑竿控制器的规范违反，证明了其在鲁棒性测试方面的有效性。
• 基于反例的引导式数据增强显著提升了模型性能，实验表明，使用被伪阳性检测出的样本（如包含多辆汽车的误分类图像）进行再训练，可提升检测准确率。
• 该工具包成功实现了对山地小车控制器的超参数搜索，识别出神经网络能够成功学会攀爬斜坡的参数配置。
• 基于主成分分析（PCA）的错误表分析揭示了误分类的模式，从而支持有针对性的再训练，并为模型失效模式提供了洞察。
• 通过使用 Scenic 进行环境建模，实现了对复杂、不确定的城市交通场景的直观、声明式描述。
• VerifAI 的统一框架在单一语义特征空间抽象下，支持多种验证与设计任务——包括伪阳性检测、模糊测试、参数合成与数据增强。