[论文解读] Refactoring Neural Networks for Verification

David Shriver, Dong Xu+2 more|arXiv (Cornell University)|Aug 6, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用 7

一句话总结

本文提出了一种名为验证重构（Refactoring for Verification, R4V）的自动化框架，通过知识蒸馏技术将深度神经网络（DNNs）转换为更简单、更易验证的架构，同时保持其准确性。通过应用开发人员定义的架构转换（如移除或缩小层），随后进行知识蒸馏，R4V 能够在安全关键系统中实现更快、更高效的 DNN 验证，验证时间最多减少 9.4 倍，同时保持极低的误差（MSE < 0.01）。

ABSTRACT

Deep neural networks (DNN) are growing in capability and applicability. Their effectiveness has led to their use in safety critical and autonomous systems, yet there is a dearth of cost-effective methods available for reasoning about the behavior of a DNN. In this paper, we seek to expand the applicability and scalability of existing DNN verification techniques through DNN refactoring. A DNN refactoring defines (a) the transformation of the DNN's architecture, i.e., the number and size of its layers, and (b) the distillation of the learned relationships between the input features and function outputs of the original to train the transformed network. Unlike with traditional code refactoring, DNN refactoring does not guarantee functional equivalence of the two networks, but rather it aims to preserve the accuracy of the original network while producing a simpler network that is amenable to more efficient property verification. We present an automated framework for DNN refactoring, and demonstrate its potential effectiveness through three case studies on networks used in autonomous systems.

研究动机与目标

• 应对在安全关键型自主系统中使用复杂 DNN 所面临的日益严峻的验证挑战。
• 克服现有 DNN 验证工具在处理大型、复杂网络时的可扩展性限制。
• 通过识别‘复杂度最佳平衡点’，帮助开发人员在模型准确性与验证效率之间进行权衡。
• 提供一种自动化、基于规范的 DNN 转换方法，将其转化为更简单、更易验证的形式，同时不牺牲预测性能。
• 证明重构后的 DNN 可以高效验证并保持高准确性，支持在安全关键应用中的部署。

提出的方法

• 对原始 DNN 应用基于规范的架构转换，包括移除或缩小全连接层与卷积层。
• 根据转换规范生成新的、简化的 DNN 架构，确保结构可行性并降低复杂度。
• 使用知识蒸馏训练转换后的 DNN，使其匹配原始网络的输入输出行为。
• 利用蒸馏过程将原始训练好的 DNN 的知识迁移至新简化架构中，以保持准确性。
• 将重构后的 DNN 与现成的验证工具（如 ReLUplex、Planet、Neurify）集成，以评估验证性能。
• 系统性地探索多种转换选项（如层移除、缩放），以识别满足准确性与验证时间约束的重构网络。

实验结果

研究问题

• RQ1 自动化 DNN 重构能否在保持安全关键系统可接受准确性的前提下，减少验证时间？
• RQ2 哪些架构转换能在 DNN 复杂度、验证速度与预测准确性之间实现最有效的权衡？
• RQ3 知识蒸馏在架构简化后，能在多大程度上保持 DNN 的行为特性？
• RQ4 在自主系统中使用的不同 DNN 中，由准确性和验证预算定义的复杂度最佳平衡点如何变化？
• RQ5 R4V 是否能在无需事先领域知识或手动调优的情况下，实现可验证 DNN 的发现？

主要发现

• 对于 DAVE-2 网络，R4V 将验证时间最多减少了 9.4 倍，与原始模型相比 MSE 为 0.008。
• 重构网络 01___56789A 实现了 6.3 倍的验证时间加速，并成功验证了全部 10 个性质，结果均为真。
• 在 16 个重构的 DAVE-2 网络中，有 3 个同时满足准确性（MSE < 0.01）和验证时间（每个性质低于 3 小时）的要求。
• 原始 DAVE-2 网络每个性质的验证时间超过 10,000 秒，且所有性质均返回 '未知'，表明其可扩展性极差。
• Neurify 在架构 0123456____ 上失败，该架构无全连接层，凸显了特定工具在处理某些重构结构时的局限性。
• 本研究证明，即使缺乏先验领域知识，R4V 也能有效探索准确性与可验证性之间的权衡空间。