[论文解读] Sampling-based Approximations with Quantitative Performance for the Probabilistic Reach-Avoid Problem over General Markov Processes

Sofie Haesaert, Robert Babuška+1 more|arXiv (Cornell University)|Sep 1, 2014

Formal Methods in Verification参考文献 25被引用 3

一句话总结

该论文提出了一种基于采样的拟合值迭代（Fitted Value Iteration, FVI）算法，用于在具有控制输入的连续状态马尔可夫过程中计算最优控制器，目标是满足概率性到达-避免规范。该方法提供了可计算的先验概率误差界，从而实现对安全关键应用中性能的严格量化。

ABSTRACT

This article deals with stochastic processes endowed with the Markov (memoryless) property and evolving over general (uncountable) state spaces. The models further depend on a non-deterministic quantity in the form of a control input, which can be selected to affect the probabilistic dynamics. We address the computation of maximal reach-avoid specifications, together with the synthesis of the corresponding optimal controllers. The reach-avoid specification deals with assessing the likelihood that any finite-horizon trajectory of the model enters a given goal set, while avoiding a given set of undesired states. This article newly provides an approximate computational scheme for the reach-avoid specification based on the Fitted Value Iteration algorithm, which hinges on random sample extractions, and gives a-priori computable formal probabilistic bounds on the error made by the approximation algorithm: as such, the output of the numerical scheme is quantitatively assessed and thus meaningful for safety-critical applications. Furthermore, we provide tighter probabilistic error bounds that are sample-based. The overall computational scheme is put in relationship with alternative approximation algorithms in the literature, and finally its performance is practically assessed over a benchmark case study.

研究动机与目标

• 解决在一般连续状态马尔可夫过程中，针对具有控制输入的随机到达-避免规范合成最优控制器的挑战。
• 通过提供FVI近似中可计算的概率误差界，克服现有近似方法缺乏形式化误差界的问题。
• 通过量化所计算策略和价值函数的精度，实现控制器合成在安全关键系统中的实际部署。
• 利用基于样本的回归方法，将动态规划的应用扩展到具有混合动力学的不可数状态空间。
• 提供更紧致的、基于样本的误差界，优于先前方法的渐近收敛保证。

提出的方法

• 应用拟合值迭代（FVI）算法，使用随机样本在连续状态空间中近似到达-避免问题的价值函数。
• 在每次迭代中使用基于核的回归（具体为MATLAB中的ClassificationTree.fit）拟合价值函数，替代精确的动态规划步骤。
• 利用测度论分析和浓度不等式，推导出FVI近似中的先验概率误差界。
• 引入基于样本的误差估计，用于动态规划算子中的单步误差和偏差，通过预留样本进行计算。
• 利用定理12将误差界向后传播至时间范围，该定理通过缩放因子B量化累积近似误差。
• 利用FVI框架计算具有形式化性能保证的近似最优策略μ̂*和价值函数Ŵ*

实验结果

研究问题

• RQ1 基于采样的FVI算法能否为连续状态马尔可夫过程中到达-避免概率的近似提供形式化、先验的概率误差界？
• RQ2 FVI近似中的误差如何随时间传播？能否使用可计算的度量对其进行边界限定？
• RQ3 样本大小和采样分布对FVI在到达-避免问题中近似精度的影响是什么？
• RQ4 能否推导出更紧致的、基于样本的误差估计，以优于现有文献中的渐近收敛结果？
• RQ5 在实际基准案例研究中，基于FVI的控制器性能与精确动态规划相比如何？

主要发现

• 在所有迭代中，FVI算法的单步误差估计介于3×10⁻³至5×10⁻³之间，早期迭代中误差有明显下降趋势。
• 累积近似误差随时间范围呈指数增长，计算得到的缩放因子B = 3.07，表明存在强烈的误差传播。
• 对于1−δΔ=0.9的样本精度估计Δ，在早期迭代中保持在10⁻²以下，但在时间范围末期显著增加。
• 通过FVI推导出的策略μ̂*在基准案例研究中表现出合乎逻辑的行为：在热损失更高的房间中，加热器保持开启时间更长，与物理直觉一致。
• 基于FVI的价值函数Ŵ*在靠近目标集K的区域准确捕捉了到达-避免结构，但在远离K的平坦区域性能下降。
• 所提出的方法提供了形式化、先验的概率误差界，使其与仅提供渐近收敛保证的先前方案区分开来。