[论文解读] Property-Directed Verification of Recurrent Neural Networks

Igor Khmelnitsky, Daniel Neider+7 more|arXiv (Cornell University)|Sep 22, 2020

Machine Learning and Algorithms参考文献 18被引用 5

一句话总结

本文提出属性导向验证（PDV），一种新颖的方法，通过结合安格林的L*学习算法与模型检测，对循环神经网络（RNNs）在正则规格下的行为进行形式化验证。通过利用目标属性引导学习过程，PDV能够高效发现简短且可泛化的反例，揭示RNN中的结构性缺陷，在反例质量与效率方面均优于标准统计模型检测和基于抽象的方法。

ABSTRACT

This paper presents a property-directed approach to verifying recurrent neural networks (RNNs). To this end, we learn a deterministic finite automaton as a surrogate model from a given RNN using active automata learning. This model may then be analyzed using model checking as verification technique. The term property-directed reflects the idea that our procedure is guided and controlled by the given property rather than performing the two steps separately. We show that this not only allows us to discover small counterexamples fast, but also to generalize them by pumping towards faulty flows hinting at the underlying error in the RNN.

研究动机与目标

• 为应对在如网络物理系统等安全关键应用中对RNN形式化验证日益增长的需求。
• 克服传统模型检测在RNN上应用时因潜在无限或难以处理的状态空间而带来的局限性。
• 开发一种将语法推断与模型检测以属性导向方式集成的验证框架，从而提升反例的质量与效率。
• 通过有限自动机抽象，实现对RNN中误分类序列（假阳性）与结构性错误的检测。
• 证明属性导向学习相比标准统计模型检测或基于抽象的方法，能够生成更具洞察力与可泛化的反例。

提出的方法

• 该方法使用安格林的L*算法，通过成员资格查询与等价性查询，逐步学习一个确定性有限自动机（DFA）作为RNN的代理模型。
• 在每次迭代中，使用经典模型检测技术检查所学假设DFA是否满足规格DFA的包含关系 $ L(H) \subseteq L(A) $。
• 若在假设DFA中发现反例但不在规格DFA中，则将其在RNN上进行验证；若确认为有效反例，则用于精炼假设。
• 该过程受目标属性引导，确保学习与验证并行进行，且通过泵送技术对反例进行泛化，以揭示RNN中的潜在缺陷。
• 采用统计模型检测来回答等价性查询，以有界误差概率运行，确保在用户定义的置信水平下结果正确。
• 通过双重规格使用，该方法同时支持对假阳性（通过 $ L(R) \subseteq L(A) $）与假阴性（通过 $ L(R) \subseteq \overline{L(A)} $）的检测。

实验结果

研究问题

• RQ1 属性导向地集成语法推断与模型检测，是否能比标准统计模型检测生成更简洁、更具洞察力的RNN反例？
• RQ2 PDV发现的反例在质量与长度上，与统计模型检测（SMC）和基于抽象的模型检测（AAMC）相比如何？
• RQ3 PDV生成的反例在多大程度上可通过泵送技术进行泛化，以揭示RNN行为中的系统性错误？
• RQ4 所学DFA代理模型的大小在多大程度上影响验证过程的效率与可扩展性？
• RQ5 PDV能否高效验证在复杂时间网络上训练的RNN，同时检测出非预期的边连接或路径误分类？

主要发现

• PDV发现的反例平均长度仅为2，显著短于SMC的平均13.1，从而提供了更易理解且可操作的RNN错误洞察。
• PDV每次验证的平均运行时间为0.41秒，与SMC的0.48秒相当，但远快于AAMC的655.68秒，展现出卓越的效率。
• PDV提取的DFA平均大小仅为2，表明RNN可被极简自动机有效近似；而AAMC平均需124.14个状态，凸显其复杂性更高。
• 在全部七个真实世界时间网络实例中，PDV成功识别出RNN在接触序列上训练后存在的结构性缺陷，如被忽略或错误添加的边。
• PDV生成的反例可通过泵送技术泛化，从而识别出一类整体性错误行为，例如XML-like序列中缺少闭合标签。
• 该方法在保证正确性报告的同时，实现了高置信度的正确性验证（误差概率由用户定义），兼具可靠性与高效性。