[论文解读] Reversals of Rényi Entropy Inequalities under Log-Concavity

James Melbourne, Tomasz Tkocz|arXiv (Cornell University)|May 21, 2020

Spectral Theory in Mathematical Physics参考文献 37被引用 5

一句话总结

该论文为 ℤ 上的离散对数凹随机变量建立了精确的 Rényi 熵反转不等式，证明了 Rényi 熵阶 α 与最小熵之间的差值被 log(α^{1/(α−1)}) 所有界，且当参数趋于 0 时，双侧几何分布趋近于等号。通过使用极大化与 Schur 凹性，将连续结果推广至离散情形，并推导出具有最优常数的离散版本的熵 Rogers-Shephard 不等式。

ABSTRACT

We establish a discrete analog of the Rényi entropy comparison due to Bobkov and Madiman. For log-concave variables on the integers, the min entropy is within log e of the usual Shannon entropy. Additionally we investigate the entropic Rogers-Shephard inequality studied by Madiman and Kontoyannis, and establish a sharp Rényi version for certain parameters in both the continuous and discrete cases

研究动机与目标

• 建立已知于连续情形下对数凹分布的 Rényi 熵反转不等式的离散类比。
• 解决整数值对数凹随机变量的 α 阶熵与最小熵之间差值的精确性问题。
• 将熵 Rogers-Shephard 不等式推广至离散情形下任意阶的 Rényi 熵。
• 证明 Rényi 熵差值的极值序列在 p→0 的极限下为双侧几何分布。
• 表明在一般对数凹变量的离散情形下不存在极值解，与连续情形中指数分布使熵差值达到极值的情况形成对比。

提出的方法

• 利用极大化理论证明：ℤ 上任意对数凹分布均极大化于具有相同 ∞-Rényi 熵的双侧几何分布。
• 利用 Rényi 熵的 Schur 凹性，将问题约化为在双侧几何分布上进行显式计算。
• 通过序列的对数凹性应用离散版的 Prékopa-Leindler 不等式，以保持熵序关系。
• 利用参数 p→0 时几何随机变量的极限，推导出精确常数 log(α^{1/(α−1)})。
• 通过借鉴连续情形的证明策略，将连续熵不等式替换为离散对应形式，建立离散熵 Rogers-Shephard 不等式。
• 通过计算 i.i.d. 几何分布 X_p, Y_p 在 p→0 时 H_α(X_p - Y_p) - H_α(X_p) 的极限，验证精确性，结果为 log 2。

实验结果

研究问题

• RQ1 对于 ℤ 上的离散对数凹随机变量 X，差值 H_α(X) - H_∞(X) 的精确上界是什么？是否可达？
• RQ2 能否在具有最优常数的前提下，将连续情形下的 Rényi 熵反转不等式推广至离散情形？
• RQ3 Rényi 熵任意阶的离散版熵 Rogers-Shephard 不等式是什么？
• RQ4 是否存在离散情形下的 Rényi 熵差值极值解？若不存在，哪一序列能提供精确常数？
• RQ5 离散情形下 Rényi 熵差值的行为与连续情形相比如何，特别是在极值解与常数方面？

主要发现

• 对于 ℤ 上任意对数凹随机变量 X，差值 H_α(X) - H_∞(X) 严格小于 log(α^{1/(α−1)})，且当双侧几何分布的参数趋于 0 时趋近于等号。
• 精确常数 log(α^{1/(α−1)}) 在 i.i.d. 几何分布参数 p→0 的极限下被实现。
• 离散熵 Rogers-Shephard 不等式表明：H_α(X−Y) - H_α(X) < log c(α)，其中当 α ≤ 2 时 c(α) = α^{1/(α−1)}，当 α > 2 时 c(α) = 2α^{1/(α−1)}。
• 当 α = 2 和 α = ∞ 时，该界是精确的，且在几何分布的极限下趋近于等号。
• 当 α = 1（即 Shannon 熵）时，该界退化为 H(X−Y) - H(X) < log e，该结果为精确且与已知的连续情形一致。
• 离散情形下的极值序列为双侧几何分布，与连续情形中使熵差值达到极值的指数分布形成鲜明对比。