[论文解读] Reachability Analysis for Feed-Forward Neural Networks using Face Lattices

Xiaodong Yang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 11

一句话总结

本文提出了一种新颖的、可并行化的精确可达性分析方法，用于具有ReLU激活函数的前馈神经网络，利用面格（face lattices）高效计算可达集。通过利用完整的多面体组合结构表示多面体，该方法避免了昂贵的H-表示到V-表示转换，相较于当前最先进的工具Reluplex、Marabou和NNV，显著提升了效率，同时支持完整输入集重建，以实现对安全违规行为的追踪。

ABSTRACT

Deep neural networks have been widely applied as an effective approach to handle complex and practical problems. However, one of the most fundamental open problems is the lack of formal methods to analyze the safety of their behaviors. To address this challenge, we propose a parallelizable technique to compute exact reachable sets of a neural network to an input set. Our method currently focuses on feed-forward neural networks with ReLU activation functions. One of the primary challenges for polytope-based approaches is identifying the intersection between intermediate polytopes and hyperplanes from neurons. In this regard, we present a new approach to construct the polytopes with the face lattice, a complete combinatorial structure. The correctness and performance of our methodology are evaluated by verifying the safety of ACAS Xu networks and other benchmarks. Compared to state-of-the-art methods such as Reluplex, Marabou, and NNV, our approach exhibits a significantly higher efficiency. Additionally, our approach is capable of constructing the complete input set given an output set, so that any input that leads to safety violation can be tracked.

研究动机与目标

• 为解决在安全关键型信息物理系统中使用的深度神经网络缺乏形式化方法进行安全性验证的问题。
• 克服现有基于多面体的可达性分析方法因昂贵的H-表示到V-表示转换和可行性检查而导致的效率低下问题。
• 通过追踪网络的所有线性区域，实现精确且完整的可达性分析，同时保持正确性和完备性。
• 通过从给定输出集重建完整输入集，支持反向分析，实现对安全违规输入的完整追踪。
• 提升大规模ReLU网络可达性分析的可扩展性和可并行性。

提出的方法

• 该方法使用面格——一种多面体的完整组合结构——来表示中间可达集，避免了重复进行H-表示到V-表示转换的需求。
• 通过权重矩阵和偏置向量执行仿射变换，并通过将多面体与零超平面相交来处理ReLU非线性，利用面格操作实现高效计算。
• 通过利用面格结构，直接计算交集和投影，避免了线性规划可行性检查。
• 面格操作能够高效且精确地计算多面体的交集和投影，相比传统多面体方法显著降低了计算开销。
• 该方法支持在不同线性区域之间的并行化处理，并可通过反演输出集来恢复所有导致该输出集的输入集，实现反向可达性分析。
• 该方法可集成至现有验证工作流中，并在ACAS Xu及其他基准测试中进行了评估，验证了其可扩展性和正确性。

实验结果

研究问题

• RQ1 基于面格的多面体表示是否能显著降低ReLU神经网络可达性分析的计算成本？
• RQ2 避免重复进行H-表示到V-表示转换是否能带来相对于现有基于多面体方法的可测量性能提升？
• RQ3 该方法在保持可达性计算的精确性和完备性的同时，是否能够扩展至更大规模的网络？
• RQ4 该方法在多大程度上能够从给定输出集重建完整输入集，从而实现对安全违规行为的完整追踪？
• RQ5 与Reluplex、Marabou和NNV等当前最先进的工具相比，该方法在效率和准确性方面表现如何？

主要发现

• 所提出的方法在效率上显著优于Reluplex、Marabou和NNV，在ACAS Xu及其他基准测试中均展现出性能优势。
• 使用面格消除了对昂贵的H-表示到V-表示转换的需求，降低了多面体运算的计算开销。
• 该方法支持精确且完整的可达性分析，通过追踪网络的所有线性区域，保持了正确性和完备性。
• 该方法支持反向可达性分析：给定一个输出集，可重建所有导致该输出集的完整输入集，从而实现对安全违规输入的完整追踪。
• 该方法具有天然的可并行性，显著提升了大规模ReLU网络的可扩展性。
• 评估结果表明，该方法实现了显著的速度提升，执行时间在0.05秒至11.55秒之间，覆盖了不同网络层，无论在速度还是完备性方面均优于现有工具。