[论文解读] Rényi divergence and the central limit theorem

Sergey G. Bobkov, G. P. Chistyakov+1 more|arXiv (Cornell University)|Aug 5, 2016

Statistical Mechanics and Entropy参考文献 26被引用 6

一句话总结

本文利用Rényi散度，特别是卡方散度，建立了中心极限定理中收敛到正态分布的必要与充分条件。证明了当且仅当独立同分布的和的Laplace变换满足对所有 $ t \neq 0 $ 有 $ \mathbb{E}[e^{tX}] < e^{t^2} $ 时，从正态分布出发的卡方散度趋于零，并通过Edgeworth型展开推导出精确的收敛速率。

ABSTRACT

We explore properties of the $χ^2$ and more general Rényi (Tsallis) distances to the normal law. In particular we provide necessary and sufficient conditions for the convergence to the normal law in the central limit theorem using these distances. Moreover, we derive exact rates of convergence in these distances with respect to an increasing number of summands.

研究动机与目标

• 刻画在卡方散度下正态分布的吸引域。
• 建立以Rényi散度表示的标准化和收敛到正态分布的必要与充分条件。
• 为独立同分布的和推导出在卡方散度及更一般的Rényi散度下的精确收敛速率。
• 分析Laplace变换条件在强散度（如卡方散度）下确保收敛的作用。
• 通过对数Sobolev不等式与运输-熵不等式，将结果推广到多变量情形。

提出的方法

• 作者利用基础分布的Laplace变换，推导出卡方散度收敛的必要与充分条件。
• 他们采用Edgeworth型展开，推导出卡方散度收敛的精确渐近速率。
• 分析依赖于通过Hermite多项式和指数级数表示密度函数，扩展了Fomin的早期工作。
• 在多变量情况下，应用Bakry-Emery准则，在Hessian下界条件下建立对数Sobolev不等式。
• 通过构造伯努利与高斯变量混合的反例，表明逐点Laplace变换主导性不足以保证收敛。
• 利用次高斯常数与矩生成函数界，验证Laplace变换不等式条件。

实验结果

研究问题

• RQ1 标准化和与标准正态分布之间的卡方散度收敛到零的必要与充分条件是什么？
• RQ2 和的Laplace变换性质如何影响Rényi散度下的收敛性？
• RQ3 能否为独立同分布的和推导出卡方散度的精确收敛速率？
• RQ4 次高斯性质与对数Sobolev不等式在Rényi散度下确保收敛中起什么作用？
• RQ5 对所有 $ t \neq 0 $ 严格满足 $ \mathbb{E}[e^{tX}] < e^{t^2} $ 的Laplace变换不等式是否是卡方收敛的必要条件？

主要发现

• 当且仅当存在某个 $ n_0 $ 使得 $ \chi^2(Z_n, Z) $ 有限，且对所有 $ t \neq 0 $ 有 $ \mathbb{E}[e^{tX}] < e^{t^2} $ 时，有 $ \chi^2(Z_n, Z) \to 0 $ 当 $ n \to \infty $。
• 本文提供了 $ \chi^2(Z_n, Z) $ 的Edgeworth型展开，给出了收敛的精确渐近速率。
• 对于密度为 $ p = e^{-V} $ 且满足 $ V'' \geq c\,\mathrm{I}_d $ 的分布，Rényi散度 $ D_\alpha $ 在 $ \alpha < \frac{1}{1-c} $ 时收敛。
• 构造了一个反例，其中对所有 $ t \neq 0 $ 除了一个点外均有 $ \mathbb{E}[e^{tX}] < e^{t^2} $，但 $ \chi^2(Z_n, Z) \not\to 0 $，证明了该条件的严格性。
• 条件 $ \mathbb{E}[e^{tX}] < e^{t^2} $ 是精确的，无法通过弱不等式或逐点等式来弱化。
• 对于伯努利与高斯变量的混合，条件 $ \frac{p-q}{2(\log p - \log q)} > 2pq $ 确保Laplace变换不等式在某一点处不成立，从而阻止收敛。