[论文解读] Thinning and Information Projections

Peter Harremoës, Oliver Johnson+1 more|arXiv (Cornell University)|Jan 17, 2016

Risk and Portfolio Optimization被引用 2

一句话总结

本文利用薄化操作和正交多项式，建立了整数值分布与泊松分布之间信息散度的紧下界。推导了薄数定律的精确收敛速率，并将其应用于中心极限定理，表明在泊松近似中，二阶矩在渐近意义上已足够，且给出了涉及泊松-谢列夫多项式与信息散度不等式的显式边界。

ABSTRACT

In this paper we establish lower bounds on information divergence of a distribution on the integers from a Poisson distribution. These lower bounds are tight and in the cases where a rate of convergence in the Law of Thin Numbers can be computed the rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed. The results about lower bound in the Law of Thin Numbers are used to derive similar results for the Central Limit Theorem.

研究动机与目标

• 为量化薄数定律中收敛速率，建立从泊松分布出发的信息散度的紧下界。
• 建立整数值分布中薄化操作、信息散度与正交多项式（泊松-谢列夫多项式）之间的联系。
• 利用这些边界，推导离散情形下中心极限定理的新收敛速率结果。
• 通过分析信息散度，阐明矩条件（特别是二阶矩）在泊松近似中的作用。
• 推进对离散指数族中信息投影与散度的理解，尤其针对超对数凹分布和二项式类似分布。

提出的方法

• 将整数值分布上的 α-薄化操作定义为保持自然指数族性质的随机薄化过程。
• 以信息散度（Kullback-Leibler 散度）为主要度量，量化与泊松分布的距离。
• 应用信息散度的毕达哥拉斯不等式，将散度分解为固定均值与方差的指数族投影分量。
• 采用泊松-谢列夫多项式作为正交基函数，通过矩约束推导散度的紧边界。
• 利用泊松-谢列夫多项式的凸性与极值性质，界定模态点及其邻近点的概率质量。
• 对 λ（均值）的区间进行分情况分析，通过数值验证关键子情形，证明散度的统一边界。

实验结果

研究问题

• RQ1 在一般整数值分布与泊松分布之间，信息散度的最紧下界是什么？
• RQ2 薄数定律中的收敛速率如何与矩约束（特别是二阶矩）相关联？
• RQ3 仅凭二阶矩在多大程度上决定了信息散度中泊松近似的质量？
• RQ4 信息投影到具有固定均值与方差的指数族如何改善收敛速率边界？
• RQ5 泊松-谢列夫多项式在推导离散极限定理中散度与收敛速率的紧边界中起什么作用？

主要发现

• 本文证明了一个紧下界：$ 2\big(D(X \parallel \text{Po}(\lambda))\big)^{1/2} \geq 1 - \frac{\text{Var}(X)}{\lambda} $，该式以方差量化了与泊松分布的散度。
• 对于二项分布 $ \text{Bi}(n, \lambda/n) $，信息散度满足 $ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}(\lambda)) \to \frac{\lambda^2}{4} $ 当 $ n \to \infty $，确立了收敛的精确速率。
• 从二项分布到其匹配均值与方差的最小散度投影 $ \text{Po}_\beta(\lambda) $ 的信息散度满足 $ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}_\beta(\lambda)) \to 0 $，表明二阶矩在渐近意义上已足够。
• 本文证明，若分布满足 $ \mathbb{E}[C_2^\lambda(X)] < \beta_0 $，则其模态点 $ \lceil \lambda \rceil $ 处的概率质量下界为 $ \frac{1}{2} + \left( \frac{\lambda}{-\beta_0 2^{1/2} - 1} \right)^{1/2} $，该结果用于推导总变差边界。
• 数值验证表明，所推导的散度边界在所有 $ \lambda > 0 $ 下均紧致，关键子情形中与 1 的最大偏差小于 0.93。
• 通过结合毕达哥拉斯不等式与二项近似的散度速率，本文表明二项分布渐近趋近于具有固定均值与方差的最小散度指数族，从而证实了在此情境下二阶矩的充分性。