[论文解读] The Complexity of Reachability in Parametric Markov Decision Processes

Sebastian Junges, Joost-Pieter Katoen+2 more|arXiv (Cornell University)|Sep 28, 2020

Formal Methods in Verification参考文献 56被引用 10

一句话总结

本文確立了參數化馬爾可夫決策過程（pMDPs）中可達性問題的計算複雜度，表明在具有通用不確定性的pMDPs以及具有非嚴格比較的參數化馬爾可夫鏈（pMCs）中，可達性約束的參數綜合問題為ETR完全問題。針對固定參數情況，本文證明了NP完全性，並透過存在性實數理論（ETR）編碼與貝爾曼最優性約束，提供了緊緻的複雜度界。

ABSTRACT

This article presents the complexity of reachability decision problems for parametric Markov decision processes (pMDPs), an extension to Markov decision processes (MDPs) where transitions probabilities are described by polynomials over a finite set of parameters. In particular, we study the complexity of finding values for these parameters such that the induced MDP satisfies some maximal or minimal reachability probability constraints. We discuss different variants depending on the comparison operator in the constraints and the domain of the parameter values. We improve all known lower bounds for this problem, and notably provide ETR-completeness results for distinct variants of this problem.

研究动机与目标

• 確定參數化馬爾可夫決策過程（pMDPs）中參數綜合的計算複雜度，其中轉移機率為參數的多項式函數。
• 分析不同約束（如嚴格與非嚴格比較，以及存在性與通用性不確定性）如何影響可達性問題的複雜度。
• 透過建立各種合成問題變體的緊緻下界與上界，彙整先前複雜度界中的缺口。
• 將pMDP參數綜合與存在性實數理論（ETR）聯結，從而使ETR求解器能用於實際驗證。
• 透過歸約至pMCs，改善部分可觀察MDPs（POMDPs）中有限狀態控制器綜合的複雜度界。

提出的方法

• 將pMDPs中的可達性綜合形式化為參數賦值的決策問題，該賦值需在所有或某些調度器下滿足可達性約束。
• 使用ETR編碼表示可達性條件，特別是利用來自貝爾曼最優性方程的多項式不等式。
• 透過猜測無記憶策略並在多項式時間內驗證所產生的pMCs，證明固定參數情況下的NP成員資格。
• 透過從和到存在性實數理論的歸約，建立ETR完全性，使用圖保持的賦值與解函數編碼。
• 利用關於具有有界參數的pMCs（例如，固定參數數量時處於P）的已知結果，推導pMDPs的複雜度界。
• 應用基於貝爾曼最優性方程的約束，以驗證所產生MDPs中策略的最小性與可達性門檻。

实验结果

研究问题

• RQ1 在所有不確定性選擇下（通用不確定性）使所產生MDP滿足可達性約束的參數值綜合問題的計算複雜度為何？
• RQ2 在可達性約束中使用嚴格與非嚴格比較運算子時，pMDPs中參數綜合的複雜度有何差異？
• RQ3 當參數數量固定時，pMDPs中參數綜合的複雜度為何？其在存在性與通用性不確定性之間的差異為何？
• RQ4 pMCs中的參數綜合問題能否歸約至或由存在性實數理論（ETR）表徵？其對實際求解有何影響？
• RQ5 對於單一參數與定量可達性門檻的pMDPs，參數綜合的最緊緻已知複雜度界為何？

主要发现

• 具有通用不確定性的pMDPs與任意比較運算子的綜合問題為ETR完全問題。
• 對於具有非嚴格比較運算子（例如≥、≤）的pMCs，綜合問題為ETR完全問題。
• 對於具有嚴格比較運算子（例如>、<）的pMCs，問題為NP難，本文改善了先前的下界。
• 在固定參數情況下，存在性與通用性不確定性變體的參數綜合均屬於NP，且所產生pMCs可於多項式時間內驗證。
• 本文確立了在一般情況下，pMDP參數綜合為ETR完全問題，即使參數數量無限也成立。
• 結果表明ETR求解器可用於解決參數綜合問題，但目前實作中抽象-精化方法仍更為實用。