[论文解读] Sampling-based Reachability Analysis: A Random Set Theory Approach with Adversarial Sampling

Thomas Lew, Marco Pavone|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了一种基于采样的可达性分析方法，利用随机集理论保证收敛至真实可达集的凸包，同时引入对抗性采样以加速收敛并降低保守性。该方法可实现对神经网络和高维不确定系统的更快、更可靠的分析。

ABSTRACT

Reachability analysis is at the core of many applications, from neural network verification, to safe trajectory planning of uncertain systems. However, this problem is notoriously challenging, and current approaches tend to be either too restrictive, too slow, too conservative, or approximate and therefore lack guarantees. In this paper, we propose a simple yet effective sampling-based approach to perform reachability analysis for arbitrary dynamical systems. Our key novel idea consists of using random set theory to give a rigorous interpretation of our method, and prove that it returns sets which are guaranteed to converge to the convex hull of the true reachable sets. Additionally, we leverage recent work on robust deep learning and propose a new adversarial sampling approach to robustify our algorithm and accelerate its convergence. We demonstrate that our method is faster and less conservative than prior work, present results for approximate reachability analysis of neural networks and robust trajectory optimization of high-dimensional uncertain nonlinear systems, and discuss future applications.

研究动机与目标

• 为解决现有可达性分析方法存在的局限性，这些方法通常过于缓慢、过于保守或缺乏形式化保证。
• 开发一种基于采样的方法，提供对可达集凸包的严格收敛保证。
• 通过受鲁棒深度学习启发的对抗性采样，提升收敛速度与鲁棒性。
• 实现对高维、非线性不确定系统的实际可达性分析。
• 在近似可达性分析与鲁棒轨迹优化方面展示该方法的有效性。

提出的方法

• 该方法利用随机集理论对采样过程进行形式化解释，并证明其收敛至真实可达集凸包。
• 采用蒙特卡洛采样从初始不确定性集合生成轨迹，通过经验分布近似可达集。
• 引入对抗性采样，以有策略地选择能最大化不确定性减少的样本，从而加速收敛。
• 该方法设计具有通用性，适用于任意动力系统，包括非线性和高维系统。
• 借鉴深度学习中的鲁棒优化技术，引导采样聚焦于高不确定性区域或关键故障模式。
• 该算法在保持输出集合形式化保证的同时，提升了计算效率。

实验结果

研究问题

• RQ1 基于采样的可达性分析方法能否提供对真实可达集凸包的正式收敛保证？
• RQ2 对抗性采样在多大程度上可提升可达性分析的收敛速度并降低保守性？
• RQ3 该方法在多大程度上可扩展至高维、非线性不确定动力系统？
• RQ4 该方法能否在神经网络验证与鲁棒轨迹规划中有效应用？
• RQ5 与先前的基于采样和基于集合的可达性分析技术相比，该方法在准确性和效率方面表现如何？

主要发现

• 所提方法保证收敛至真实可达集的凸包，提供形式化正确性保证。
• 对抗性采样显著加速收敛，大幅减少达到准确近似的样本数量。
• 与先前基于采样的方法相比，该方法在高维系统中表现出更低的保守性。
• 实验结果表明，该方法在神经网络近似可达性分析中性能更优。
• 该方法实现了对高维不确定非线性系统的鲁棒轨迹优化，展现出实际可扩展性。
• 随机集理论的引入为基于采样的方法提供了严格的理论基础。