[论文解读] Verification for Machine Learning, Autonomy, and Neural Networks Survey

Weiming Xiang, Patrick Musau+6 more|arXiv (Cornell University)|Oct 3, 2018

Adversarial Robustness in Machine Learning参考文献 90被引用 93

一句话总结

对学习驱动组件在对安全关键的自主 cyber-physical 系统中进行验证方法的全面综述，覆盖架构、学习、控制和规范学习方法。

ABSTRACT

This survey presents an overview of verification techniques for autonomous systems, with a focus on safety-critical autonomous cyber-physical systems (CPS) and subcomponents thereof. Autonomy in CPS is enabling by recent advances in artificial intelligence (AI) and machine learning (ML) through approaches such as deep neural networks (DNNs), embedded in so-called learning enabled components (LECs) that accomplish tasks from classification to control. Recently, the formal methods and formal verification community has developed methods to characterize behaviors in these LECs with eventual goals of formally verifying specifications for LECs, and this article presents a survey of many of these recent approaches.

研究动机与目标

• 安全集成 AI/ML 于安全关键 CPS 的动机与验证与形式化方法的作用概述。
• 总结自主 CPS 中 LEC 的架构、安全架构和运行时监控方法。
• 回顾用于自治领域的神经网络验证、可达性分析与基于学习的控制方法。
• 强调统计型 ML 方法在该领域与符号化形式化验证的对比。

提出的方法

• 对自主 CPS 中 LEC 的最新验证方法进行调研与综合。
• 讨论安全监控、运行时验证与运行时保障作为实际的验证层。
• 概述架构层级与控制理论的验证技术，包括可达性与基于李雅普诺夫的方法。
• 考察基于学习的规范推断及用于安全属性（如 STL 和布尔公式）的学习。
• 展示基于学习的控制框架以及在线适应与策略学习过程中的安全保证。

实验结果

研究问题

• RQ1 存在哪些验证方法可以确保自治 CPS 中学习驱动组件的安全性？
• RQ2 安全架构、运行时监控和可达性分析如何为可信赖的自主系统做出贡献？
• RQ3 哪些学习和规范推断方法可以为 ML 驱动组件提供形式化保证？
• RQ4 基于学习的控制方法在在线自适应中如何确保稳定性与安全性？

主要发现

• 当面对复杂的自主 CPS 时，架构层级的安全措施、运行时验证和运行时保障被识别为在全面形式化验证不可行时的实际途径。
• 它将神经网络验证、可达性分析和基于学习的控制作为验证 LEC 安全性的关键领域。
• 它讨论规范推断和 STL/布尔公式学习，作为从 ML 组件中提取形式化安全属性的工具。
• 文献强调在安全保证方面，符号化/形式化方法与数据驱动的 ML 方法之间的差异。
• 它展示来自自动驾驶及其他 CPS 的示例，以说明 LEC 的验证与测试框架。