[论文解读] Optimal Gaussian concentration bounds for stochastic chains of unbounded memory

Jean-René Chazottes, Sandro Gallo+1 more|arXiv (Cornell University)|Jan 18, 2020

Markov Chains and Monte Carlo Methods参考文献 42被引用 5

一句话总结

该论文通过最大耦合方法，为可数字母表上的无记忆随机链（SCUMs）建立了最优高斯集中不等式（GCBs）。证明了当核的振荡和小于1或其变差属于ℓ¹(ℕ)时，GCB成立，且给出了显式常数；这些条件是最优的，通过反例展示了当条件不成立时出现相变现象。

ABSTRACT

We obtain optimal Gaussian concentration bounds (GCBs) for stochastic chains of unbounded memory (SCUMs) on countable alphabets. These stochastic processes are also known as "chains with complete connections" or "$g$-measures". We consider two different conditions on the kernel: (1) when the sum of its oscillations is less than one, or (2) when the sum of its variations is finite, i.e., belongs to $\ell^1(\mathbb{N})$. We also obtain explicit constants as functions of the parameters of the model. The proof is based on maximal coupling. Our conditions are optimal in the sense that we exhibit examples of SCUMs that do not have GCB and for which the sum of oscillations is strictly larger than one, or the variation belongs to $\ell^{1+ε}(\mathbb{N})$ for any $ε> 0$. These examples are based on the existence of phase transitions. We also extend the validity of GCB to a class of functions which can depend on infinitely many coordinates. We illustrate our results by three applications. First, we derive a Dvoretzky-Kiefer-Wolfowitz type inequality which gives a uniform control on the fluctuations of the empirical measure. Second, in the finite-alphabet case, we obtain an upper bound on the $\bar{d}$-distance between two stationary SCUMs and, as a by-product, we obtain new (explicit) bounds on the speed of Markovian approximation in $\bar{d}$. Third, we obtain exponential rate of convergence for Birkhoff sums of a certain class of observables.

研究动机与目标

• 为无记忆随机链（SCUMs），亦称g-测度或完全连接链，建立最优高斯集中不等式（GCBs）。
• 识别核的尖锐、必要且充分条件——即振荡和 < 1 或变差属于ℓ¹(ℕ)——以保证GCB的存在。
• 通过构造在条件违反时GCB不成立的SCUMs（利用相变反例）证明这些条件的最优性。
• 将GCB扩展至依赖于无穷多坐标的函数，从而拓展其在有限记忆可观测物之外的应用范围。
• 推导新应用，包括Dvoretzky-Kiefer-Wolfowitz型不等式、SCUMs之间$\bar{d}$-距离的显式上界，以及Birkhoff和的指数收敛速率。

提出的方法

• 以最大耦合为核心技术，通过核的振荡与变差控制两条路径之间的耦合误差。
• 通过初始配置上确界的表达方式定义耦合误差，即耦合路径发生分歧的概率。
• 通过将可观测物的方差与核的总变差及耦合误差关联，推导出显式集中不等式。
• 应用由GCB导出的运输成本不等式，以控制两个平稳SCUMs之间的$\bar{d}$-距离。
• 利用GCB与运输成本不等式之间的关系，获得在$\bar{d}$-距离下马尔可夫近似速度的上界。
• 采用一步最大耦合策略，控制路径分歧随时间的演化，从而实现耦合误差的递归估计。

实验结果

研究问题

• RQ1 在何种核条件下，无记忆随机链满足高斯集中不等式？
• RQ2 核振荡条件（和 < 1）与变差条件（ℓ¹）对GCB存在性而言是否最优？
• RQ3 GCB能否推广至依赖于无穷多坐标的SCUMs可观测物？
• RQ4 GCB对统计推断有何影响，例如控制经验测度波动或度量过程间距离？
• RQ5 如何利用GCB推导SCUMs在$\bar{d}$-距离下马尔可夫近似速度的显式上界？

主要发现

• 当核的振荡和小于1时，SCUMs满足GCB，且显式常数依赖于该和的大小。
• 当核的变差属于ℓ¹(ℕ)时，GCB同样成立，且对应的集中常数可显式表示为变差ℓ¹-范数的函数。
• 这些条件是最优的：对任意ε > 0，存在变差属于ℓ¹⁺ᵉ(ℕ)的SCUMs不满足GCB，且振荡和 > 1的反例同样不满足GCB。
• 这些情况下GCB的失效与相变现象及与核兼容的不变测度非唯一性密切相关。
• 为变差可 summable 的SCUMs 建立了Dvoretzky-Kiefer-Wolfowitz型不等式，提供了对经验测度波动的统一控制。
• 推导出两个平稳SCUMs之间$\bar{d}$-距离的显式上界，并首次在某些非马尔可夫情形下量化了$\bar{d}$-距离下马尔可夫近似的收敛速度。