[论文解读] SOCRATES: Towards a Unified Platform for Neural Network Verification.

Long Hoang Pham, Jiaying Li+1 more|arXiv (Cornell University)|Jul 22, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用 8

一句话总结

SOCRATES 是一个统一的神经网络验证平台，通过标准化模型格式、使用断言语言表达属性规范，并集成新型验证算法，实现了对各类神经网络类型和属性的可比较、可扩展、可重用的验证，其性能优于或匹配现有最先进方法。

ABSTRACT

Studies show that neural networks, not unlike traditional programs, are subject to bugs, e.g., adversarial samples that cause classification errors and discriminatory instances that demonstrate the lack of fairness. Given that neural networks are increasingly applied in critical applications (e.g., self-driving cars, face recognition systems and personal credit rating systems), it is desirable that systematic methods are developed to verify or falsify neural networks against desirable properties. Recently, a number of approaches have been developed to verify neural networks. These efforts are however scattered (i.e., each approach tackles some restricted classes of neural networks against certain particular properties), incomparable (i.e., each approach has its own assumptions and input format) and thus hard to apply, reuse or extend. In this project, we aim to build a unified framework for developing verification techniques for neural networks. Towards this goal, we develop a platform called SOCRATES which supports a standardized format for a variety of neural network models, an assertion language for property specification as well as two novel algorithms for verifying or falsifying neural network models. SOCRATES is extensible and thus existing approaches can be easily integrated. Experiment results show that our platform offers better or comparable performance to state-of-the-art approaches. More importantly, it provides a platform for synergistic research on neural network verification.

研究动机与目标

• 通过将多种不同的方法整合到单一标准化框架中，解决神经网络验证领域的碎片化问题。
• 实现对神经网络系统性验证与 falsification（证伪），以检验其是否满足鲁棒性、公平性等理想属性。
• 支持可扩展性，使现有验证技术能够轻松集成与复用。
• 提供一个通用平台，促进不同验证方法之间的协同研究与对比。

提出的方法

• SOCRATES 引入一种标准化输入格式，用于表示多种神经网络模型，实现不同架构之间的互操作性。
• 它定义了一种断言语言，用于指定形式化属性，例如对对抗性输入的鲁棒性或公平性约束。
• 该平台集成了两种新型验证算法，可高效地验证或证伪神经网络在指定属性下的行为。
• SOCRATES 通过模块化架构支持可扩展性，允许通过插件方式集成现有验证技术。
• 通过使用一致的输入格式和属性规范，支持不同验证方法之间的对比。
• 该平台设计兼顾性能与可重用性，支持研究与实际部署。

实验结果

研究问题

• RQ1 如何设计一个统一平台，以支持多种神经网络模型和验证属性？
• RQ2 为实现验证工具之间的互操作性，需要哪些标准化的输入与规范格式？
• RQ3 如何高效地将新型验证算法集成到一个可扩展的统一框架中？
• RQ4 此类统一平台在性能上能在多大程度上匹配或超越专用的最先进验证工具？
• RQ5 共享平台能否促进神经网络验证领域中的协作与协同研究？

主要发现

• SOCRATES 有效地将多种神经网络验证方法统一到单一标准化框架下。
• 通过通用输入格式和断言语言，平台支持广泛的神经网络模型和属性规范。
• SOCRATES 集成的新型验证算法在性能上可与或优于现有最先进方法。
• SOCRATES 的可扩展性使得现有验证技术能够轻松集成与复用。
• 实验结果表明，SOCRATES 能够在多种模型和属性上实现高效、可比较且可扩展的验证。
• 该平台通过提供统一的评估与扩展验证技术的基准，促进了协作研究。