[论文解读] Quasi-Stationary Distributions for Stochastic Approximation Algorithms with constant step size

Bastien Marmet|arXiv (Cornell University)|Mar 28, 2013

Stochastic processes and financial applications参考文献 14被引用 3

一句话总结

本文研究了带常数步长的离散时间随机逼近算法的拟平稳分布（QSD），将系统建模为常微分方程（ODE）的随机扰动。在大偏差假设及 ODE 存在内部吸引子的条件下，证明了 QSD 的弱*极限点是支持在内部吸引子上的不变测度，且灭绝时间随系统规模 N 呈指数增长。

ABSTRACT

In this paper we investigate quasi-stationary distributions μ_N of stochastic approximation algorithms with constant step size which can be viewed as random perturbations of a time-continuous dynamical system. Inspired by ecological models these processes have a closed absorbing set corresponding to extinction. Under some large deviation assumptions and the existence of an interior attractor for the ODE, we show that the weak* limit points of the QSD μ_N are invariant measures for the ODE with support in the interior attractors.

研究动机与目标

• 理解带常数步长的随机逼近算法的长期行为，特别是具有灭绝吸收态的系统。
• 研究当系统规模 N 增大时，拟平稳分布（QSD）的收敛性。
• 在存在内部吸引子的情况下，以底层 ODE 的不变测度来表征 QSD 的极限测度。
• 建立极限测度的支集位于远离灭绝边界的吸引子内的条件。

提出的方法

• 将随机过程建模为在缩放单纯形 Δ_N 上的离散时间马尔可夫链，其增量由平均场 F 和鞅噪声 U_n^N 决定。
• 使用连续时间插值 ĥX^N(t) 将随机轨迹与由 F 诱导的确定性流 φ_t 进行比较。
• 应用大偏差原理分析吸收时间与吸收概率，特别是在边界附近。
• 引入一种保持吸收特性的伪轨道，将大偏差泛函中的链回归性与 Conley 的 δ-T 链回归性联系起来。
• 采用弱*收敛来研究当 N → ∞ 时 QSD μ^N 的极限点。
• 依赖 Perron-Frobenius 定理和 Yaglom 极限定理来表征 QSD 及其收敛性质。

实验结果

研究问题

• RQ1 在何种条件下，带常数步长的随机逼近算法的拟平稳分布会收敛于底层 ODE 的不变测度？
• RQ2 当 ODE 存在内部吸引子时，灭绝的期望时间如何随系统规模 N 变化？
• RQ3 QSD 极限测度的支集是什么？在何种条件下其包含于远离灭绝边界的吸引子内？
• RQ4 在吸收与亚稳态的背景下，大偏差原理与链回归性概念之间有何关联？

主要发现

• 当存在内部吸引子时，拟平稳分布 μ^N 的弱*极限点是 ODE 的不变测度，且其支集位于内部吸引子上。
• 在给定的大偏差假设和 ODE 吸引子假设下，从 μ^N 初始的系统，其灭绝的期望时间随 N 呈指数增长。
• 在额外的大偏差假设下，极限不变测度的支集位于远离灭绝边界吸引子的内部。
• 通过比较大偏差泛函与 Conley 的 δ-T 链回归的修正版本，建立了 QSD 收敛于不变测度的结果。
• 本研究将 Faure 和 Schreiber 关于离散时间扰动系统的发现，推广至具有常数步长的连续时间类似随机逼近过程。