[论文解读] Parameter Searching and Partition with Probabilistic Coverage Guarantees.

Chuchu Fan, Xin Qin+1 more|arXiv (Cornell University)|Apr 1, 2020

Formal Methods in Verification被引用 7

一句话总结

本文提出了一种基于置信回归的概率验证框架，用于学习型网络物理系统，通过在无限参数空间中搜索，以边际覆盖保证预测信号时态逻辑（STL）满足值。该框架支持参数空间划分，并量化不同参数下的系统行为，确保在无分布假设下的概率保证。

ABSTRACT

The use of machine learning components has posed significant challenges for the verification of cyber-physical systems due to its complexity, nonlinearity, and large space of parameters. In this work, we propose a novel probabilistic verification framework for learning-enabled CPS which can search over the entire (infinite) space of parameters, to figure out the ones that lead to satisfaction or violation of specification that are captured by Signal Temporal Logic (STL) formulas. Our technique is based on conformal regression, a technique for constructing prediction intervals with marginal coverage guarantees using finite samples, without making assumptions on the distribution and regression model. Our verification framework, using conformal regression, can predict the quantitative satisfaction values of the system's trajectories over different sets of the parameters and use those values to quantify how well/bad the system with the parameters can satisfy/violate the given STL property. We use three case studies of learning-enabled CPS applications to demonstrate that our technique can be successfully applied to partition the parameter space and provide the needed level of assurance.

研究动机与目标

• 为解决学习型网络物理系统在复杂、非线性和高维参数空间中的验证挑战。
• 实现系统性参数空间探索，以确定满足或违反STL规范的配置。
• 在不假设模型或分布形式的前提下，提供STL满足值预测区间的概率覆盖保证。
• 通过参数划分和定量评估，支持在安全关键型网络物理系统应用中的验证与保证。

提出的方法

• 利用置信回归生成具有边际覆盖保证的STL满足值预测区间。
• 将置信回归应用于有限训练样本，以预测无限参数集上的系统行为。
• 采用信号时态逻辑（STL）正式指定期望或禁止的系统行为。
• 利用预测的满足值将参数空间划分为满足、违反或不确定区域。
• 将框架集成到案例研究中，以验证其在真实世界网络物理系统应用中的可扩展性和可靠性。
• 保持非参数假设，避免对底层回归模型或数据分布施加限制。

实验结果

研究问题

• RQ1 置信回归能否在学习型网络物理系统的无限参数空间中有效预测STL满足值？
• RQ2 在不假设分布形式的前提下，如何在预测系统行为时保持概率覆盖保证？
• RQ3 该框架在多大程度上可将参数空间划分为满足、违反或不确定区域？
• RQ4 该方法能否在最小建模假设下为安全关键型网络物理系统应用提供可靠保证？
• RQ5 该框架在多种学习型网络物理系统案例研究中的可扩展性和性能表现如何？

主要发现

• 该框架成功利用预测的STL值将参数空间划分为满足、违反和不确定区域。
• 置信回归在预测区间上提供了边际覆盖保证，确保在无分布假设下的统计可靠性。
• 通过利用有限训练样本，该方法实现了在无限参数空间上的验证。
• 三个案例研究证明了该框架在真实世界学习型网络物理系统应用中的适用性和鲁棒性。
• 该方法通过为不同参数配置下的系统行为分配置信水平，支持定量保证。
• 该框架在无需对回归模型或数据分布做假设的情况下，实现了可靠的验证。