[论文解读] On Reverse Pinsker Inequalities

Igal Sason|arXiv (Cornell University)|Mar 24, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 12

一句话总结

本文推导出新的反向Pinsker不等式，以有界集合上的概率测度的总变差距离表示相对熵和Rényi散度的上界。该研究在Verdú、Csiszár–Talata以及Gilardoni的现有边界基础上进行了改进，通过引入似然比的本征esssup（essential supremum）和$f$-散度技术，得出更紧致的不等式，并在信息论与统计学中具有应用价值。

ABSTRACT

New upper bounds on the relative entropy are derived as a function of the total variation distance. One bound refines an inequality by Verdú for general probability measures. A second bound improves the tightness of an inequality by Csiszár and Talata for arbitrary probability measures that are defined on a common finite set. The latter result is further extended, for probability measures on a finite set, leading to an upper bound on the Rényi divergence of an arbitrary non-negative order (including $\infty$) as a function of the total variation distance. Another lower bound by Verdú on the total variation distance, expressed in terms of the distribution of the relative information, is tightened and it is attained under some conditions. The effect of these improvements is exemplified.

研究动机与目标

• 推导出在有限集合上概率测度的相对熵相对于总变差距离的更紧致上界。
• 通过Verdú、Csiszár–Talata以及Gilardoni的反向Pinsker型不等式，进一步改进并优化现有结果。
• 在有限支撑条件下，将分析扩展至任意非负阶次的Rényi散度，包括$\infty$阶。
• 在特定条件下，收紧Verdú关于基于相对信息分布的总变差距离的下界。

提出的方法

• 利用似然比的本征esssup $ \beta_1^{-1} = \sup_a \frac{dP}{dQ}(a) $，推导出一个改进的反向Pinsker不等式，优于Verdú的边界。
• 应用$f$-散度理论，推导出涉及$ D_f(P||Q) $、$ D_g(P||Q) $和$ \chi^2(P,Q) $的一般不等式，其中$ g(t) = -t f(t) $，在凸性假设下成立。
• 通过加权测度的Jensen型精化方法，对$f$-散度进行分析，以界定$ \log(1 + \chi^2(P,Q)) $与$ D(P||Q) $之间的差值。
• 将一般不等式应用于$ f(t) = -\log t $，从而得到以$ \chi^2(P,Q) $和总变差距离表示的$ D(P||Q) $与$ D(Q||P) $的紧致边界。
• 建立任意阶次$ \alpha \in [0,\infty] $的Rényi散度的反向Pinsker不等式，参数化为$ Q_{\min} $，即$ Q $下的最小概率。
• 通过$f$-散度恒等式与凸性论证，提供关键不等式(35)的简化证明。

实验结果

研究问题

• RQ1 能否通过似然比的本征esssup，对Verdú的反向Pinsker不等式进行收紧？
• RQ2 对于有限概率测度，如何改进Csiszár–Talata关于相对熵与总变差距离关系的边界？
• RQ3 在有限集合上，Rényi散度任意阶次$ \alpha \in [0,\infty] $的最紧致上界是什么，其与总变差距离的关系如何？
• RQ4 在特定条件下，能否收紧Verdú基于相对信息分布的总变差距离下界？
• RQ5 在$f$-散度恒等式下，$ \log(1 + \chi^2(P,Q)) $、$ D(P||Q) $与$ D(Q||P) $之间的精确关系为何？如何进行界定？

主要发现

• 推导出新的反向Pinsker不等式：$ \frac{1}{2}|P - Q| \geq \left( \frac{1 - \beta_1}{\log \frac{1}{\beta_1}} \right) D(P||Q) $，其中$ \beta_1 = \sup_a \frac{dP}{dQ}(a) $，优于Verdú的边界。
• 将Csiszár–Talata边界$ D(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $进一步收紧，引入最大似然比的依赖关系，从而获得更精确的边界。
• 对于任意阶次$ \alpha \in [0,\infty] $的Rényi散度，本文推导出上界：$ D_\alpha(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $，适用于有限概率空间。
• 证明了一个新不等式：$ \min_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) \leq -D_g(P||Q) - f(1 + \chi^2(P,Q)) \leq \max_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) $，其中$ g(t) = -t f(t) $，适用于凸函数$ f $且满足$ f(1) = 0 $。
• 当$ f(t) = -\log t $时，可得$ D(Q||P) \leq \log(1 + \chi^2(P,Q)) - D(P||Q) \leq D(Q||P) $，边界依赖于最小与最大似然比。
• 收紧了Verdú关于总变差距离的下界：$ |P - Q| \geq \mathbb{E}[|1 - \exp(-i_{P||Q}(X))|] $，并确定了等式成立的条件。