[论文解读] NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation

Brandon Paulsen, Jingbo Wang+2 more|arXiv (Cornell University)|Sep 21, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用 4

一句话总结

NeuroDiff 提出了一种可扩展的差分验证技术，用于前馈 ReLU 神经网络，通过使用细粒度凸逼近和符号变量，显著提升了准确性和速度。在压缩或修改后的网络的等价性验证任务中，其速度相比最先进方法提升高达 1000 倍，准确率提高 5 倍。

ABSTRACT

As neural networks make their way into safety-critical systems, where misbehavior can lead to catastrophes, there is a growing interest in certifying the equivalence of two structurally similar neural networks. For example, compression techniques are often used in practice for deploying trained neural networks on computationally- and energy-constrained devices, which raises the question of how faithfully the compressed network mimics the original network. Unfortunately, existing methods either focus on verifying a single network or rely on loose approximations to prove the equivalence of two networks. Due to overly conservative approximation, differential verification lacks scalability in terms of both accuracy and computational cost. To overcome these problems, we propose NeuroDiff, a symbolic and fine-grained approximation technique that drastically increases the accuracy of differential verification while achieving many orders-of-magnitude speedup. NeuroDiff has two key contributions. The first one is new convex approximations that more accurately bound the difference neurons of two networks under all possible inputs. The second one is judicious use of symbolic variables to represent neurons whose difference bounds have accumulated significant error. We also find that these two techniques are complementary, i.e., when combined, the benefit is greater than the sum of their individual benefits. We have evaluated NeuroDiff on a variety of differential verification tasks. Our results show that NeuroDiff is up to 1000X faster and 5X more accurate than the state-of-the-art tool.

研究动机与目标

• 为解决在安全关键应用中，对结构相似的两个神经网络之间功能等价性验证缺乏可扩展且准确的方法的问题。
• 克服现有差分验证工具依赖过于保守逼近所带来的局限性，从而导致可扩展性和准确性较差的问题。
• 开发一种技术，能够对压缩或剪枝后的神经网络与其原始版本之间的行为相似性提供形式化保证。
• 在对网络差异进行前向分析过程中，减少近似误差的累积，同时保持计算效率。
• 将符号抽象与细粒度凸界结合，以在验证精度和性能方面实现互补性提升。

提出的方法

• 提出新颖的凸逼近方法，以在所有输入下紧密绑定两个 ReLU 网络输出差异，取代先前工作中使用的粗粒度区间具体化方法。
• 使用符号变量表示隐藏层中差异边界已累积显著误差的神经元，从而实现对不确定性的更精确传播。
• 在前向分析流程中结合符号抽象与凸逼近，利用符号区间算术计算差异边界。
• 采用分区策略隔离高不确定性区域，并仅在必要区域应用更精细的分析，从而提升效率。
• 利用网络之间的结构相似性（如权重剪枝或量化）来复用计算，减少冗余分析。
• 采用基于超时的验证框架，若差异被证明低于用户定义的容差 ε，则返回 'verified'，否则返回 'undetermined'。

实验结果

研究问题

• RQ1 细粒度凸逼近是否能显著降低 ReLU 网络差分验证中的过度近似误差？
• RQ2 符号变量在前向传播过程中对缓解差异边界误差累积的效能如何？
• RQ3 与单独使用任一技术相比，凸逼近与符号抽象如何协同提升验证准确性和可扩展性？
• RQ4 所提出的方法是否能在真实世界的神经网络压缩任务中实现数量级的速度提升，同时保持或提高准确性？
• RQ5 输入扰动和网络宽度对所提出逼近技术有效性的影响力如何？

主要发现

• NeuroDiff 在差分验证任务中相比最先进工具 ReluDiff 最快提升 1000 倍速度。
• 该方法将验证准确率提高最多达 5 倍，显著减少了等价性检查中的假阴性。
• 当预 ReLU 的 delta 区间较宽但仍包含符号信息时，凸逼近效果最佳，这与高扰动设置一致。
• 凸逼近与符号变量的结合产生协同增益，性能提升超过两项技术单独使用之和。
• 在 MNIST 实验中，增大扰动使 delta 区间变宽，证实凸逼近在这些条件下最具优势。
• 该方法成功在用户定义的 ε 容差下，对原始网络与压缩网络（如剪枝或量化后的网络）之间实现功能等价性的形式化验证。