[论文解读] Neuro-Symbolic Verification of Deep Neural Networks

Xuan Xie, Kristian Kersting+1 more|arXiv (Cornell University)|Mar 2, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出神经符号验证（neuro-symbolic verification），一种新颖的框架，通过允许使用神经网络作为语义组件来表达复杂、现实世界中的属性（例如“检测到停车标志时停止”），从而扩展了深度神经网络的形式化验证。该方法基于现有的验证基础设施，能够验证多种属性，并生成与数据分布相关的有意义反例，显著提升了传统方法的可调试性。

ABSTRACT

Formal verification has emerged as a powerful approach to ensure the safety and reliability of deep neural networks. However, current verification tools are limited to only a handful of properties that can be expressed as first-order constraints over the inputs and output of a network. While adversarial robustness and fairness fall under this category, many real-world properties (e.g., "an autonomous vehicle has to stop in front of a stop sign") remain outside the scope of existing verification technology. To mitigate this severe practical restriction, we introduce a novel framework for verifying neural networks, named neuro-symbolic verification. The key idea is to use neural networks as part of the otherwise logical specification, enabling the verification of a wide variety of complex, real-world properties, including the one above. Moreover, we demonstrate how neuro-symbolic verification can be implemented on top of existing verification infrastructure for neural networks, making our framework easily accessible to researchers and practitioners alike.

研究动机与目标

• 解决当前形式化验证方法仅能验证深度神经网络输入输出上简单一阶约束的局限性。
• 实现对复杂、现实世界属性（如自动驾驶车辆对交通标志的响应行为）的验证，这些属性语义丰富但无法通过标准约束表达。
• 将深度神经网络作为逻辑规范中的语义组件集成，以支持对感知、识别和推理相关属性的验证。
• 证明神经符号验证可基于现有验证框架实现，确保实际可用性。
• 通过将输入约束在数据分布范围内，生成更具信息量和意义的反例，从而提升调试效率和系统开发质量。

提出的方法

• 提出一种新型规范语言——神经符号断言语言（Neuro-Symbolic Assertion Language, NeSAL），将逻辑断言与作为“规范网络”的深度神经网络结合，以表达复杂属性。
• 使用规范网络（例如在GTSRB或MNIST上训练的网络）表示高层语义概念，如“检测到停车标志”或“高置信度预测”。
• 通过将规范网络输出与主网络输出之间的约束编码，将这些神经符号规范集成到形式化验证中。
• 基于Marabou框架构建原型验证器，重用现有的神经网络验证基础设施。
• 采用自编码器将反例搜索限制在数据分布范围内，确保生成的反例真实且具有意义。
• 支持对涉及多个网络的属性进行验证，包括条件逻辑，如“若检测网络输出为停车标志，则控制网络必须刹车”。

实验结果

研究问题

• RQ1 能否将深度神经网络的形式化验证扩展至无法用简单一阶约束表达的复杂、现实世界属性？
• RQ2 能否将深度神经网络用作逻辑规范中的语义组件，以验证高层系统行为？
• RQ3 神经符号验证能否生成比传统验证方法更具意义和可操作性的反例？
• RQ4 能否在不进行大规模重构的前提下，基于现有验证基础设施实现神经符号验证？
• RQ5 神经符号验证在真实世界基准（如MNIST和GTSRB）上的可扩展性如何？其在检测违规行为方面的有效性如何？

主要发现

• 神经符号验证（NSV）原型成功验证了GTSRB数据集上的全部14个基准，证明了$P_1$属性的满足性，并为$P_2$和$P_3$找到了反例。
• 在MNIST数据集上，NSV仅在其中一个基准（$P_1$）超时，其余所有情况均找到了反例，表明即使未在训练时强制执行属性，其覆盖率依然很强。
• NSV生成的反例具有意义且语义上合理，通过自编码器约束源自数据分布，与传统方法常产生的随机噪声形成鲜明对比。
• NSV生成的反例在视觉上直观且接近真实数据，如图2所示，表明其在可调试性方面显著优于标准验证工具。
• 该框架具备可扩展性和实用性，NSV基于Marabou验证框架构建，可重用现有工具链和基础设施。
• 结果证实，神经符号验证能够有效验证自动驾驶等安全关键系统中的复杂感知型属性。