[论文解读] NNLander-VeriF: A Neural Network Formal Verification Framework for Vision-Based Autonomous Aircraft Landing

Ulices Santa Cruz, Yasser Shoukry|arXiv (Cornell University)|Mar 29, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

NNLander-VeriF 是一个形式化验证框架，将相机图像生成过程几何建模为 ReLU 神经网络，从而利用现成的神经网络模型检查器对基于视觉的自主飞机着陆系统实现端到端验证。该框架在平均每区域 76 秒内完成了对 500 个区域中训练好的两层 ReLU 控制器的形式化安全验证。

ABSTRACT

In this paper, we consider the problem of formally verifying a Neural Network (NN) based autonomous landing system. In such a system, a NN controller processes images from a camera to guide the aircraft while approaching the runway. A central challenge for the safety and liveness verification of vision-based closed-loop systems is the lack of mathematical models that captures the relation between the system states (e.g., position of the aircraft) and the images processed by the vision-based NN controller. Another challenge is the limited abilities of state-of-the-art NN model checkers. Such model checkers can reason only about simple input-output robustness properties of neural networks. This limitation creates a gap between the NN model checker abilities and the need to verify a closed-loop system while considering the aircraft dynamics, the perception components, and the NN controller. To this end, this paper presents NNLander-VeriF, a framework to verify vision-based NN controllers used for autonomous landing. NNLander-VeriF addresses the challenges above by exploiting geometric models of perspective cameras to obtain a mathematical model that captures the relation between the aircraft states and the inputs to the NN controller. By converting this model into a NN (with manually assigned weights) and composing it with the NN controller, one can capture the relation between aircraft states and control actions using one augmented NN. Such an augmented NN model leads to a natural encoding of the closed-loop verification into several NN robustness queries, which state-of-the-art NN model checkers can handle. Finally, we evaluate our framework to formally verify the properties of a trained NN and we show its efficiency.

研究动机与目标

• 解决现有视觉自主系统中缺乏将飞行器状态与相机图像关联的形式化模型的问题。
• 克服当前最先进的神经网络模型检查器仅能验证简单输入-输出鲁棒性属性的局限性。
• 通过将飞行器动力学、感知与神经网络控制整合为单一增强神经网络，实现闭环系统的正式验证。
• 提供一个可扩展的框架，用于验证基于视觉的自主飞机着陆系统中的安全性和活锁性质。
• 展示利用几何建模与现成工具，对真实世界高维感知系统进行形式化验证的可行性与高效性。

提出的方法

• 使用几何原理对透视相机图像生成过程进行建模，将飞行器状态（位置、姿态）映射到像素坐标。
• 基于相机内参参数，手动设定权重，将几何图像生成模型编码为 ReLU 神经网络。
• 将感知神经网络与训练好的神经网络控制器组合，形成一个增强神经网络，直接从飞行器状态映射到控制动作。
• 使用有界模型检查生成有限状态机（FSM），表示系统随时间的演化，同时将安全约束编码为布尔公式。
• 应用 PeregriNN（当前最先进的神经网络模型检查器），验证增强神经网络在多种初始条件下的鲁棒性属性。
• 使用 SAT4J 实现有限状态机验证组件，执行有界模型检查，时间范围为 20 步。

实验结果

研究问题

• RQ1 能否将相机图像生成过程的几何模型编码为 ReLU 神经网络，以实现对基于视觉控制器的形式化验证？
• RQ2 当感知与控制组件组合为单一增强网络时，现有神经网络模型检查器在验证复杂闭环系统属性方面的能力有多大？
• RQ3 使用该框架对基于视觉的自主着陆系统进行形式化验证的效率如何？
• RQ4 在不同初始条件下，该框架在图像分辨率与验证时间方面的可扩展性如何？
• RQ5 该框架如何处理在多样化着陆轨迹与危险状态区域中对神经网络控制器的安全验证？

主要发现

• 该框架成功验证了安全规范 φ = □¬q_unsafe 在 500 个随机采样的初始条件下的成立，发现神经网络控制器在所有情况下均安全。
• 使用 PeregriNN 验证的平均时间每区域为 76 秒，证明了其在真实世界部署中的实际效率。
• 由于有限状态机规模增大，验证时间从 μ=0.1 时的 2000 秒单调增加至 μ=1.1 时的 7000 秒，证实了可扩展性权衡。
• 增强神经网络（NN_aug）通过编码从飞行器状态到控制动作的完整映射，实现了端到端验证，使其适用于现有神经网络模型检查器。
• 使用分段仿射（PWA）近似进行图像生成建模，可实现精确的 ReLU 网络编码，但可能存在近似误差。
• 该框架表明，当感知过程以几何方式建模并与控制器组合时，对基于视觉系统的形式化验证是可行的。