[论文解读] Sensitivity analysis for finite Markov chains in discrete time

Gert de Cooman, Filip Hermans+1 more|arXiv (Cornell University)|Aug 9, 2014

Bayesian Modeling and Causal Inference参考文献 21被引用 6

一句话总结

本文提出了一种针对有限时间离散时间马尔可夫链的敏感性分析框架，针对转移概率和初始概率中的认知不确定性，通过可信集对它们进行建模，形成模糊马尔可夫链。利用下期望和上期望，证明了当时间趋于无穷时，状态分布收敛到唯一的不变可信集，从而将经典的Perron-Frobenius定理推广到模糊概率模型。

ABSTRACT

When the initial and transition probabilities of a finite Markov chain in discrete time are not well known, we should perform a sensitivity analysis. This is done by considering as basic uncertainty models the so-called credal sets that these probabilities are known or believed to belong to, and by allowing the probabilities to vary over such sets. This leads to the definition of an imprecise Markov chain. We show that the time evolution of such a system can be studied very efficiently using so-called lower and upper expectations. We also study how the inferred credal set about the state at time n evolves as n->infinity: under quite unrestrictive conditions, it converges to a uniquely invariant credal set, regardless of the credal set given for the initial state. This leads to a non-trivial generalisation of the classical Perron-Frobenius Theorem to imprecise Markov chains.

研究动机与目标

• 解决离散时间有限马尔可夫链中初始概率和转移概率的不确定性问题。
• 使用可信集而非精确概率对认知不确定性进行建模。
• 分析此类模糊马尔可夫链的长期行为。
• 将经典的Perron-Frobenius定理推广到模糊概率模型。
• 建立当 n → ∞ 时，关于状态的可信集收敛到唯一不变集的条件。

提出的方法

• 使用可信集对初始概率和转移概率的不确定性进行建模，表示概率上的信念区间。
• 通过允许概率在这些可信集上变化，定义模糊马尔可夫链。
• 利用下期望和上期望，高效计算状态分布的时间演化。
• 通过可信集的时间演化分析状态分布的渐近行为。
• 证明在时间 n 时关于状态的推断可信集在 n → ∞ 时收敛到唯一的不变可信集。
• 建立该收敛发生的条件，将Perron-Frobenius定理推广到模糊模型。

实验结果

研究问题

• RQ1 当有限马尔可夫链中的转移概率和初始概率仅部分已知时，如何系统地进行敏感性分析？
• RQ2 在使用可信集对不确定性进行建模时，模糊马尔可夫链的长期行为是什么？
• RQ3 在何种条件下，随着时问增加，关于状态分布的可信集会收敛到唯一的不变集？
• RQ4 下期望和上期望的使用如何实现对模糊马尔可夫链时间演化的高效计算？
• RQ5 经典Perron-Frobenius定理在多大程度上可以推广到模糊概率框架？

主要发现

• 利用下期望和上期望，可以高效分析模糊马尔可夫链的时间演化。
• 在温和且无严格限制的条件下，时间 n 时关于状态的可信集在 n → ∞ 时收敛到唯一的不变可信集。
• 该收敛与初始可信集无关，表明具有稳定的长期行为。
• 该收敛结果将经典Perron-Frobenius定理推广到了模糊概率设置。
• 不变可信集由转移矩阵的结构以及对转移概率的可信约束唯一确定。