[论文解读] Stochastic Recursive Inclusions with Non-Additive Iterate-Dependent Markov Noise

Vinayaka G. Yaji, Shalabh Bhatnagar|arXiv (Cornell University)|Jul 16, 2016

Markov Chains and Monte Carlo Methods参考文献 15被引用 4

一句话总结

本文研究带有集合值漂移函数和非加性、依赖于迭代的马尔可夫噪声的随机递归包含。它证明了该递归的插值轨迹是通过对马尔可夫噪声的平稳分布对集合值漂移进行平均而得到的极限微分包含的渐近伪轨迹，从而可通过极限包含的动力学特性表征递归的极限集。

ABSTRACT

In this paper we study the asymptotic behavior of stochastic approximation schemes with set-valued drift function and non-additive iterate-dependent Markov noise. We show that a linearly interpolated trajectory of such a recursion is an asymptotic pseudotrajectory for the flow of a limiting differential inclusion obtained by averaging the set-valued drift function of the recursion w.r.t. the stationary distributions of the Markov noise. The limit set theorem in [1] is then used to characterize the limit sets of the recursion in terms of the dynamics of the limiting differential inclusion. We then state two variants of the Markov noise assumption under which the analysis of the recursion is similar to the one presented in this paper. Scenarios where our recursion naturally appears are presented as applications. These include controlled stochastic approximation, subgradient descent, approximate drift problem and analysis of discontinuous dynamics all in the presence of non-additive iterate-dependent Markov noise.

研究动机与目标

• 分析在非加性、依赖于迭代的马尔可夫噪声下，具有集合值漂移函数的随机逼近方案的渐近行为。
• 将 ODE 方法和渐近伪轨迹框架扩展至集合值和非加性噪声设置。
• 通过基于马尔可夫噪声平稳分布的平均化方法推导出的极限微分包含的动力学，表征此类递归的极限集。
• 提供在漂移函数不连续或仅为可测函数时，分析仍有效的条件，而无需满足利普希茨或赫尔德连续性要求。

提出的方法

• 本文将递归建模为 $ X_{n+1} - X_n - a(n)M_{n+1} \in a(n)H(X_n, S_n) $，其中 $ H $ 为集合值映射，$ \{S_n\} $ 为紧状态马尔可夫噪声过程。
• 通过使用连续且凸参数化的集合值映射 $ H^{(l)} $ 对集合值漂移 $ H $ 进行逼近，从而可应用标准随机逼近技术。
• 极限微分包含定义为 $ \frac{dx}{dt} \in \bar{H}(x) $，其中 $ \bar{H}(x) $ 是 $ H(x,s) $ 关于马尔可夫噪声平稳分布的平均值。
• 证明了递归的线性插值轨迹是极限微分包含流的渐近伪轨迹。
• 该分析依赖于测度值函数空间的度量化以及逼近映射 $ H^{(l)} $ 的连续性性质，确保其收敛至真实的集合值映射。
• 引用文献 [1] 中的极限集定理，以极限微分包含的不变集表征递归的ω-极限集。

实验结果

研究问题

• RQ1 在何种条件下，具有集合值漂移和非加性依赖于迭代的马尔可夫噪声的随机递归会收敛至极限微分包含的动力学？
• RQ2 如何将渐近伪轨迹框架扩展以处理集合值漂移和非加性马尔可夫噪声？
• RQ3 在集合值设定下，马尔可夫噪声过程需满足何种充分条件，以确保平均化原理的有效性？
• RQ4 当漂移函数不连续或仅为可测函数时，分析是否仍可扩展，而无需要求其满足利普希茨或赫尔德连续性？
• RQ5 马尔可夫噪声平稳分布的结构如何影响递归的极限行为？

主要发现

• 递归的线性插值轨迹是极限微分包含 $ \frac{dx}{dt} \in \bar{H}(x) $ 流的渐近伪轨迹，其中 $ \bar{H}(x) $ 是 $ H(x,s) $ 关于马尔可夫噪声平稳分布的平均值。
• 递归的极限集被表征为：所有可从初始条件出发，通过极限微分包含的流可达的点的集合。
• 用于逼近 $ H $ 的集合值映射 $ H^{(l)} $ 同时具有上半连续性和下半连续性，因此是连续的，从而确保逼近过程的稳定性。
• 当 $ l \to \infty $ 时，逼近 $ H^{(l)} $ 逐点收敛至 $ H $，且 $ H^{(l)}(x,s) $ 中元素的范数在 $ 1 + \|x\| $ 的比例下具有一致有界性。
• 在两种替代假设下，该方法仍有效，类似于文献 [7] 中的假设，允许存在非唯一的平稳分布，并在状态和迭代变量上均保持连续性。
• 通过连续性及博雷尔可测性论证，建立了集合值映射 $ G(s) = \{ u \in U : h^{(l)}(x,s,u) = f(s) \} $ 的可测性，确保了随机分析的有效性。