[论文解读] Verification of Non-Linear Specifications for Neural Networks

Chongli Qin, Krishnamurthy+8 more|arXiv (Cornell University)|Feb 25, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 15

一句话总结

本文提出了凸松弛可验证规范（convex-relaxable specifications），一类可通过凸松弛技术进行验证的非线性属性。该方法有效验证了复杂的神经网络属性，如能量守恒、语义一致性和数字和预测精度，揭示了标准线性验证所遗漏的模型缺陷。

ABSTRACT

Prior work on neural network verification has focused on specifications that are linear functions of the output of the network, e.g., invariance of the classifier output under adversarial perturbations of the input. In this paper, we extend verification algorithms to be able to certify richer properties of neural networks. To do this we introduce the class of convex-relaxable specifications, which constitute nonlinear specifications that can be verified using a convex relaxation. We show that a number of important properties of interest can be modeled within this class, including conservation of energy in a learned dynamics model of a physical system; semantic consistency of a classifier's output labels under adversarial perturbations and bounding errors in a system that predicts the summation of handwritten digits. Our experimental evaluation shows that our method is able to effectively verify these specifications. Moreover, our evaluation exposes the failure modes in models which cannot be verified to satisfy these specifications. Thus, emphasizing the importance of training models not just to fit training data but also to be consistent with specifications.

研究动机与目标

• 将神经网络验证从线性规范扩展到更丰富的非线性属性。
• 识别并形式化一类可通过凸松弛技术进行验证的非线性规范。
• 展示在神经网络中验证复杂、真实世界属性的实际效用。
• 揭示违反这些非线性规范的模型缺陷，凸显标准训练方法的局限性。

提出的方法

• 提出凸松弛可验证规范类，其为非线性但可通过凸松弛技术进行验证。
• 使用凸松弛将非线性规范转化为可处理的优化问题。
• 将该框架应用于验证动力学模型中的能量守恒和分类器中的语义一致性等属性。
• 采用基于优化的验证方法，检查神经网络是否满足这些非线性约束。
• 设计一个验证流水线，将非线性规范集成到现有验证框架中。
• 在用于数字求和和物理动力学预测等任务的模型上验证该方法。

实验结果

研究问题

• RQ1 能否使用凸松弛技术有效验证神经网络中的非线性规范（如能量守恒）？
• RQ2 在未显式施加规范约束的模型中，当评估其在语义一致性等非线性属性时，其表现如何？
• RQ3 标准验证方法在多大程度上无法检测出违反非线性规范的模型问题？
• RQ4 凸松弛可验证规范能否用于检测并暴露线性验证无法发现的神经网络缺陷？

主要发现

• 所提出的方法成功验证了学习动力学模型中的复杂非线性属性，如能量守恒。
• 未能满足非线性规范的模型被成功暴露，揭示了线性验证无法检测到的不一致性。
• 利用所提框架，有效验证了对抗扰动下分类器输出的语义一致性。
• 该方法识别出预测手写数字和的模型中的错误，展示了其在回归类任务中的实用性。
• 验证结果表明，标准训练无法保证模型满足重要非线性属性，凸显了规范感知训练的必要性。
• 该方法能够检测到原本可能被忽略的缺陷，强调了规范驱动模型开发的重要性。