[论文解读] Neural Bridge Sampling for Evaluating Safety-Critical Autonomous Systems

Aman Sinha, Matthew O’Kelly+2 more|arXiv (Cornell University)|Aug 24, 2020

Adversarial Robustness in Machine Learning参考文献 96被引用 13

一句话总结

该论文提出神经桥接采样（Neural Bridge Sampling），一种罕见事件仿真方法，结合马尔可夫链蒙特卡洛（MCMC）、基于梯度的优化和神经密度估计，以高效估计安全关键型自主系统中危险事件的概率。通过利用安全度量的梯度自适应地遍历一系列中间分布，并避免计算黑塞矩阵，该方法在统计效率和计算效率方面均显著优于朴素蒙特卡洛方法及现有的自适应采样技术。

ABSTRACT

Learning-based methodologies increasingly find applications in safety-critical domains like autonomous driving and medical robotics. Due to the rare nature of dangerous events, real-world testing is prohibitively expensive and unscalable. In this work, we employ a probabilistic approach to safety evaluation in simulation, where we are concerned with computing the probability of dangerous events. We develop a novel rare-event simulation method that combines exploration, exploitation, and optimization techniques to find failure modes and estimate their rate of occurrence. We provide rigorous guarantees for the performance of our method in terms of both statistical and computational efficiency. Finally, we demonstrate the efficacy of our approach on a variety of scenarios, illustrating its usefulness as a tool for rapid sensitivity analysis and model comparison that are essential to developing and testing safety-critical autonomous systems.

研究动机与目标

• 解决在真实世界测试不可行的安全关键型自主系统中，估计低概率危险事件的挑战。
• 克服朴素蒙特卡洛方法在罕见事件估计中因故障模式出现频率低而导致的样本复杂度差的问题。
• 开发一种利用安全度量梯度信息引导采样、但无需昂贵黑塞矩阵计算的方法。
• 为复杂、高维仿真环境中的故障概率估计提供严格的统计与计算效率保证。
• 在非结构化环境中实现快速灵敏度分析与模型比较，以支持自主系统的设计与验证。

提出的方法

• 将安全评估问题表述为估计尾部概率 $ p_{\beta} = \mathbb{P}_0(f(X) \leq \gamma) $，其中 $ f(x) $ 衡量系统安全性，$ \gamma $ 为故障阈值。
• 通过使用对数温度参数阶梯，构建一系列中间分布 $ P_k $，形成从基础分布 $ P_0 $ 到与故障相关分布 $ P_0 \mathbf{1}_{\{f(x) \leq \gamma\}} $ 的“桥梁”。
• 设计一种马尔可夫链蒙特卡洛（MCMC）采样器，通过 $ \nabla \log \rho_0 $ 实现探索，通过 $ \nabla f $ 实现利用，从而高效穿越罕见事件区域。
• 使用神经密度估计来近似未归一化密度 $ \rho_k $，以估计相邻桥梁之间的归一化常数比 $ Z_k / Z_{k-1} $，避免直接积分。
• 利用估计的桥梁比的乘积计算最终的故障概率估计 $ \hat{p}_\gamma $，确保无偏估计并降低方差。
• 通过仅依赖 $ f $ 的一阶梯度，避免黑塞矩阵计算，使该方法可扩展至高维及随时间演化的动力系统。

实验结果

研究问题

• RQ1 结合基于梯度的优化与MCMC采样的罕见事件仿真方法，是否能在安全关键系统评估中实现优于朴素蒙特卡洛的统计效率？
• RQ2 在桥接采样过程中，神经密度估计在无需黑塞信息的情况下，能在多大程度上准确近似中间分布？
• RQ3 在估计自主系统故障概率方面，该方法与现有自适应采样和基于优化的技术相比，性能如何？
• RQ4 该方法是否能实现对基于学习的自主智能体在仿真中实用的灵敏度分析与模型比较？
• RQ5 在高维、非凸的安全评估问题中，该方法在统计与计算效率方面具有哪些理论保证？

主要发现

• 在估计自主系统中罕见故障事件时，神经桥接采样在有效样本量和收敛速度方面显著优于朴素蒙特卡洛方法。
• 在火箭着陆和赛车竞速基准测试中，该方法相比基线方法将有效样本量提升了10至100倍，使更少的仿真即可实现可靠的故障率估计。
• 在赛车竞速任务中，该方法成功识别出WorldModel智能体在分布偏移下故障率约为12%，而AttentionAgent的故障率约为4%，实现了直接的模型比较。
• 在高精度火箭着陆场景中，该方法高精度地估计了风扰动下的故障概率，验证了其在形式化验证灵敏度分析中的适用性。
• 该方法在多种系统动力学中表现出鲁棒性，包括随时间演化的仿真和具有复杂控制律的系统，且无需黑塞矩阵或二阶信息。
• 实证结果表明，该方法可实现快速、可扩展的安全评估，适用于基于学习的自主系统迭代设计与测试。