[论文解读] The Entropy Power Inequality and Mrs. Gerber's Lemma for Abelian Groups of Order 2^n

Varun Jog, Venkat Anantharam|arXiv (Cornell University)|Jul 26, 2012

Wireless Communication Security Techniques参考文献 7被引用 6

一句话总结

本文建立了有限交换群 $2^n$ 阶的熵功率不等式（EPI）和 Mrs. Gerber 引理的离散类比。它刻画了具有固定微熵的独立群值随机变量之和的最小微熵，证明该结果函数是凸的，并通过二进制微熵函数递归结构化，将高斯型最优性推广至有限交换群。

ABSTRACT

Shannon's Entropy Power Inequality can be viewed as characterizing the minimum differential entropy achievable by the sum of two independent random variables with fixed differential entropies. The entropy power inequality has played a key role in resolving a number of problems in information theory. It is therefore interesting to examine the existence of a similar inequality for discrete random variables. In this paper we obtain an entropy power inequality for random variables taking values in an abelian group of order 2^n, i.e. for such a group G we explicitly characterize the function f_G(x,y) giving the minimum entropy of the sum of two independent G-valued random variables with respective entropies x and y. Random variables achieving the extremum in this inequality are thus the analogs of Gaussians in this case, and these are also determined. It turns out that f_G(x,y) is convex in x for fixed y and, by symmetry, convex in y for fixed x. This is a generalization to abelian groups of order 2^n of the result known as Mrs. Gerber's Lemma.

研究动机与目标

• 将熵功率不等式与 Mrs. Gerber 引理推广至阶为 $2^n$ 的有限交换群。
• 刻画在个体微熵固定时，独立 $G$-值随机变量之和可达到的最小微熵。
• 识别在连续情形中类比于高斯分布的极值分布，以实现该最小微熵。
• 证明当其他变量固定时，结果微熵函数在每个变量上均为凸函数。
• 将 Mrs. Gerber 引理的结构推广至该离散设定中多于两个变量的和。

提出的方法

• 定义 $f_G(x,y)$ 为两个独立 $G$-值随机变量之和的最小微熵，其微熵分别为 $x$ 和 $y$，其中 $G$ 为阶为 $2^n$ 的交换群。
• 利用微熵与群结构的性质，证明 $f_G(x,y)$ 在 $y$ 固定时关于 $x$ 是凸的，且对称地关于 $y$ 也是凸的。
• 建立递归结构：$k$ 个独立 $G$-值随机变量之和的最小微熵，可通过从二元情形出发，迭代应用 $f_G(x,y)$ 获得。
• 通过在阶为 $2^{m+1}$ 的群及其子群上构造基于陪集的分布，构建实现下界的极值分布。
• 利用如下事实：在子群的陪集上为常数的分布，在二元情形下可达到等式。
• 通过归纳法与结构分解，将结果从二变量推广至 $k$ 个变量，证明最小微熵由 $f_G$ 的嵌套应用实现。

实验结果

研究问题

• RQ1 对于阶为 $2^n$ 的交换群 $G$，两个独立 $G$-值随机变量在微熵分别为 $x$ 和 $y$ 时，其和的最小微熵是多少？
• RQ2 Mrs. Gerber 引理的结构能否推广至阶为 $2^n$ 的有限交换群？
• RQ3 在独立 $G$-值随机变量之和中，实现最小微熵的极值分布是什么？
• RQ4 当其他变量固定时，最小微熵函数 $f_G(x_1, \ldots, x_k)$ 在每个变量上是否为凸函数？
• RQ5 在 $k$ 个独立 $G$-值随机变量中，其和的最小微熵如何依赖于各自的个体微熵？

主要发现

• 两个独立 $G$-值随机变量之和的最小微熵由 $f_G(x,y)$ 给出，该函数在每个变量上均为凸函数。
• 实现该最小微熵的极值分布为在 $G$ 中指数为 2 的子群的陪集上为常数的分布，类比于连续情形中的高斯分布。
• 对于 $k$ 个独立 $G$-值随机变量，其微熵分别为 $x_1, \ldots, x_k$，最小和微熵为 $f_G(x_1, f_G(x_2, \ldots, f_G(x_{k-1}, x_k) \ldots))$，即二元函数的嵌套应用。
• 当其他变量固定时，函数 $f_G(x_1, \ldots, x_k)$ 在每个变量上为凸函数，其证明基于 $f_G(x,y)$ 的分段结构及其性质。
• 该结果将 Mrs. Gerber 引理推广至阶为 $2^n$ 的交换群，表明和的微熵受一个递归定义且凸的函数下界约束。
• 当分布结构化为子群链的陪集时，最小微熵被实现，其极值性由群对称性与微熵约束共同保证。