[论文解读] Probabilistic Contraction Analysis of Iterated Random Operators

Abhishek Gupta, Rahul Jain+1 more|arXiv (Cornell University)|Apr 4, 2018

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了一种新颖的概率收缩分析框架，用于在完备度量空间中建立由迭代随机算子生成的马尔可夫链的概率收敛性。通过利用独立同分布采样下的随机占优性和收缩性质，该方法证明了确定性收缩算子的不动点在极限下成为概率不动点，从而为蒙特卡洛方法（如连续状态马尔可夫决策过程中的拟合值迭代）提供了收敛性保证。

ABSTRACT

In many branches of engineering, Banach contraction mapping theorem is employed to establish the convergence of certain deterministic algorithms. Randomized versions of these algorithms have been developed that have proved useful in data-driven problems. In a class of randomized algorithms, in each iteration, the contraction map is approximated with an operator that uses independent and identically distributed samples of certain random variables. This leads to iterated random operators acting on an initial point in a complete metric space, and it generates a Markov chain. In this paper, we develop a new stochastic dominance based proof technique, called probabilistic contraction analysis, for establishing the convergence in probability of Markov chains generated by such iterated random operators in certain limiting regime. The methods developed in this paper provides a general framework for understanding convergence of a wide variety of Monte Carlo methods in which contractive property is present. We apply the convergence result to conclude the convergence of fitted value iteration and fitted relative value iteration in continuous state and continuous action Markov decision problems as representative applications of the general framework developed here.

研究动机与目标

• 开发一种基于迭代随机算子的蒙特卡洛算法收敛性分析的通用框架。
• 建立在随机采样下，确定性收缩算子的不动点如何成为概率不动点的条件。
• 提供一种基于随机占优性的证明技术，适用于优化和强化学习中广泛类别的随机化算法。
• 展示在连续状态和连续动作的马尔可夫决策问题中，拟合值迭代和拟合相对值迭代的收敛性。

提出的方法

• 提出一种基于随机占优性的新证明技术，用于分析完备度量空间中迭代随机算子的渐近行为。
• 将概率不动点定义为：随着样本量增加，随机迭代序列以概率收敛于其极限点。
• 结合收缩映射性质与独立同分布采样，将每个算子近似建模为确定性映射的随机扰动。
• 将该框架应用于证明在具有连续状态和动作的折扣成本和平均成本马尔可夫决策过程中的经验值迭代的收敛性。
• 采用反向迭代论证和不变分布分析，刻画由随机算子生成的马尔可夫链的极限行为。
• 建立在样本数量增加时，随机算子链的不变分布趋于真实不动点的条件。

实验结果

研究问题

• RQ1 在何种条件下，确定性收缩算子的不动点在迭代随机算子下仍为概率不动点？
• RQ2 如何利用随机占优性证明由随机算子生成的马尔可夫链的概率收敛性？
• RQ3 在该概率收缩框架下，拟合值迭代在连续状态马尔可夫决策过程中收敛的充分条件是什么？
• RQ4 每次迭代的样本数量如何影响随机迭代序列围绕真实不动点的集中程度？

主要发现

• 在所提出的框架下，确定性收缩算子的不动点被证明为概率不动点，即随着每次迭代的样本数增加，迭代序列以概率收敛于该不动点。
• 该框架证明了在温和正则性条件下，拟合值迭代在连续状态马尔可夫决策过程的折扣成本和平均成本情形下均以概率收敛。
• 对于一个特定的出生-死亡链模型，显式计算了不变分布，结果为 π^Q(0) = (2p^β - 1)/p^β，当 p^β ≥ 0.5 时该值非负。
• 若满足 p > 2β/(2β + 1)，则有 p^β > 0.606，从而确保不变分布定义良好且为正。
• 该证明技术依赖数学归纳法，推导出状态块中不变分布的形式，表明尾部概率呈指数衰减。
• 该框架为基于收缩随机算子的递归随机算法的样本复杂度和一致性分析提供了一般性工具。