[论文解读] Verifiable Conditions for Irreducibility, Aperiodicity and T-chain Property of a General Markov Chain

Alexandre Chotard, Anne Auger|arXiv (Cornell University)|Oct 29, 2015

Optimization and Search Problems被引用 5

一句话总结

本论文为一类由C¹转移函数F和可能不连续的控制函数α定义的一般非线性马尔可夫链，建立了ϕ-不可约性、非周期性和T-链性质的充分条件。通过引入强全局吸引态的概念，并要求k阶转移函数沿k-路径为浸略映射，作者在弱于以往研究的光滑性假设下证明了不可约性与稳定性性质，从而使得自适应随机优化中的应用成为可能。

ABSTRACT

We consider in this paper Markov chains on a state space being an open subset of R n that obey the following general non linear state space model: Φt+1 = F (Φt, α(Φt, Ut+1)) , t ∈ N, where (Ut) t∈N * (each Ut ∈ R p) are i.i.d. random vectors, the function α, taking values in R m , is a measurable typically discontinuous function and (x, w) → F (x, w) is a C 1 function. In the spirit of the results presented in the chapter 7 of the Meyn and Tweedie book on Markov Chains and Stochastic Stability , we use the underlying deterministic control model to provide sufficient conditions that imply that the chain is a ϕ-irreducible, aperiodic T-chain with the support of the maximal irreducibility measure that has a non empty interior. To be able to show the same properties using previous results would require that the overall update function (x, u) → F (x, α(x, u)) is C ∞ and that U1 admits a lower semi-continuous density. In contrast, we assume that the function (x, w) → F (x, w) is C 1 , and that for all x, α(x, U1) admits a density px such that the function (x, w) → px(w) is lower semi-continuous. Hence the function (x, u) → F (x, α(x, u)) may have discontinuities captured by the function α. We introduce the notion of a strongly globally attracting state and we prove that if there exists a strongly globally attracting state and a time step k, such that we find a k-path such that the k th transition function starting from x * , F k (x * , .), is a submersion at this k-path, the chain is a ϕ-irreducible, aperiodic, T-chain. We present two applications of our results to Markov chains arising in the context of adaptive stochastic search algorithms to optimize continuous functions in a black-box scenario.

研究动机与目标

• 建立在R^n的开子集上的一般马尔可夫链的ϕ-不可约性、非周期性和T-链性质的可验证条件。
• 相较于Meyn和Tweedie框架中的现有结果，放宽整体更新函数(x,u) → F(x,α(x,u))的光滑性要求。
• 使自适应随机搜索算法在黑箱优化设置中可分析，其中控制函数α可能不连续。
• 引入强全局吸引态的概念作为证明链性质的关键结构假设。
• 为在控制机制上仅具有最小正则性条件下的随机算法的稳定性和收敛性提供理论基础。

提出的方法

• 通过非线性状态空间系统建模马尔可夫链：Φt+1 = F(Φt, α(Φt, Ut+1))，其中(Ut)为R^p中的i.i.d.随机向量。
• 假设F在(x,w)上为C¹，且对每个x，α(x,U1)的分布具有关于w的下半连续密度px(w)。
• 引入强全局吸引态x*的概念，使得在确定性控制下轨迹收敛至x*。
• 定义从x*出发的k-路径，使得k阶转移函数F^k(x*, ·)在路径像处为浸略映射，从而保证局部满射性。
• 利用浸略映射性质，证明链以正概率可到达状态空间的任意邻域。
• 借助确定性控制模型推导出随机不可约性与非周期性，避免对全更新函数要求C∞光滑性或其密度下界条件。

实验结果

研究问题

• RQ1 在何种条件下，可证明具有不连续控制的一般非线性马尔可夫链为ϕ-不可约且非周期？
• RQ2 当整体更新函数(x,u) → F(x,α(x,u))非C∞或缺乏下确界连续密度时，如何建立T-链性质？
• RQ3 强全局吸引态的存在在确保链的长期稳定性和可达性方面起何作用？
• RQ4 在k阶转移映射F^k(x*, ·)于k-路径上满足浸略条件时，是否可在更弱光滑性假设下保证所需的遍历性质？
• RQ5 这些条件在何种程度上将马尔可夫链稳定性理论的应用范围扩展至具有不连续更新规则的自适应随机搜索算法？

主要发现

• 若存在强全局吸引态x*及一条k-路径，使得F^k(x*, ·)在路径像处为浸略映射，则链为ϕ-不可约。
• 非周期性由存在一条k-路径且其k阶转移映射为浸略映射所蕴含，确保链不会陷入周期行为。
• 当最大不可约性测度的支撑具有非空内部时，链为T-链，该结论由浸略条件与x*的全局吸引性所导出。
• 结果在弱于以往研究的假设下成立：F仅需为C¹，且α(x,U1)的密度仅需在w上为下确界连续。
• 该框架适用于黑箱优化中的自适应随机搜索算法，其中控制函数α可能因选择或阈值规则而不连续。
• 该方法避免了对全更新函数(x,u) → F(x,α(x,u))要求C∞光滑性或对U1要求下确界连续密度，从而拓宽了对现实世界随机算法的适用性。