[论文解读] Statistical Verification of Autonomous Systems using Surrogate Models and Conformal Inference

Chuchu Fan, Xin Qin+3 more|arXiv (Cornell University)|Apr 1, 2020

Formal Methods in Verification参考文献 42被引用 4

一句话总结

该论文提出了一种基于置信性推理的方法，用于使用代理模型对信息物理系统（CPS）进行统计验证，以提供信号时序逻辑（STL）属性满足的概率保证。通过利用模型仿真训练代理模型并应用置信性预测，该方法为鲁棒性值生成置信区间，并在用户指定的置信水平下识别参数空间中的安全/非安全区域，从而实现对关键安全系统的可扩展、分布无关的验证。

ABSTRACT

In this paper, we propose conformal inference based approach for statistical verification of CPS models. Cyber-physical systems (CPS) such as autonomous vehicles, avionic systems, and medical devices operate in highly uncertain environments. This uncertainty is typically modeled using a finite number of parameters or input signals. Given a system specification in Signal Temporal Logic (STL), we would like to verify that for all (infinite) values of the model parameters/input signals, the system satisfies its specification. Unfortunately, this problem is undecidable in general. {\em Statistical model checking} (SMC) offers a solution by providing guarantees on the correctness of CPS models by statistically reasoning on model simulations. We propose a new approach for statistical verification of CPS models for user-provided distribution on the model parameters. Our technique uses model simulations to learn {\em surrogate models}, and uses {\em conformal inference} to provide probabilistic guarantees on the satisfaction of a given STL property. Additionally, we can provide prediction intervals containing the quantitative satisfaction values of the given STL property for any user-specified confidence level. We also propose a refinement procedure based on Gaussian Process (GP)-based surrogate models for obtaining fine-grained probabilistic guarantees over sub-regions in the parameter space. This in turn enables the CPS designer to choose assured validity domains in the parameter space for safety-critical applications. Finally, we demonstrate the efficacy of our technique on several CPS models.

研究动机与目标

• 解决在存在不确定性时对关键安全CPS进行验证的挑战，其中由于参数和输入信号组合的无限性，传统验证方法不可判定。
• 在用户定义的系统参数分布上，对STL属性满足性提供概率保证，而无需假设特定的模型结构或分布。
• 通过使用高斯过程对代理模型进行细化，识别参数空间中的安全与非安全运行区域。
• 通过基于已验证的参数子区域生成条件契约，支持安全保证案例和监督控制。
• 通过在仿真数据上使用与样本无关的非参数置信性预测，克服现有验证方法的可扩展性限制。

提出的方法

• 从用户提供的分布中使用蒙特卡洛采样获取系统参数，并通过仿真生成模型轨迹。
• 对每个采样参数，计算其对应轨迹相对于给定STL公式的鲁棒性值。
• 基于参数-鲁棒性对训练代理模型（如高斯过程），以预测参数空间中的鲁棒性值。
• 对代理模型的预测应用置信性推理，生成在用户指定置信水平下具有边际覆盖保证的预测区间。
• 基于高斯过程回归的细化过程用于在参数空间的感兴趣子区域上获得更紧致的概率边界。
• 该框架支持布尔型和定量STL验证，提供鲁棒性值的置信区间以及满足性的概率边界。

实验结果

研究问题

• RQ1 我们能否在用户提供的连续参数分布上，对给定STL属性的满足性提供概率保证？
• RQ2 我们能否为STL属性的鲁棒性值生成预测区间，即使在仿真数据有限的情况下，也能保持用户指定的置信水平？
• RQ3 我们能否识别出系统以高概率满足或违反规范的参数空间子区域？
• RQ4 如何对代理模型进行细化，以在不牺牲覆盖性的前提下提高关键子区域中概率保证的精度？
• RQ5 该方法能否应用于复杂非线性CPS模型，而无需依赖内部模型结构或假设特定分布？

主要发现

• 在Simglucose模型的参数区域Θ₂M中，该方法对非安全区域的估计体积为54.44%，与真实值52.47%非常接近。
• 对于Simglucose模型，该方法正确识别出在相同区域中，规范G[0,24] BG ≤ 155的非安全体积为52.47%，而G[0,24] BG ≤ 170的非安全体积为0%。
• 在更大的参数空间（如Θ₅M）中，该方法对G[0,24] BG ≤ 170的非安全体积估计为6.6%，表明其在高维参数空间中的可扩展性。
• 基于高斯过程的细化方法使细粒度安全与非安全区域得以识别，支持监督控制的条件契约生成。
• 置信性预测框架即使在代理模型质量较差时也能维持有效的覆盖保证，更宽的区间可补偿模型拟合不佳的影响。
• 该方法在置信水平上与样本量无关，因为置信性推理可确保即使数据有限也具有覆盖性，而传统SMC方法则需要固定样本量计算。