[论文解读] Strong Data Processing Inequalities for Input Constrained Additive Noise Channels

Flávio P. Calmon, Yury Polyanskiy+1 more|arXiv (Cornell University)|Dec 20, 2015

Wireless Communication Security Techniques参考文献 19被引用 3

一句话总结

本论文为具有输入约束的加性噪声信道建立了强数据处理不等式（SDPIs），证明了对于任意非退化噪声（其密度的支集不与其平移不相交），互信息 $I(W;Y)$ 严格小于 $I(W;X)$。关键结果表明，对于此类信道，有 $I(W;Y) \leq F_I(I(W;X))$，其中 $F_I(t) < t$ 对所有 $t > 0$ 成立，且在二次功率约束下，仅当 $I(W;X) \to \infty$ 时容量才被逼近。通过 I-MMSE 和 Talagrand 不等式工具，本文推导出高斯信道的显式、阶次最优界。

ABSTRACT

This paper quantifies the intuitive observation that adding noise reduces available information by means of non-linear strong data processing inequalities. Consider the random variables $W o X o Y$ forming a Markov chain, where $Y=X+Z$ with $X$ and $Z$ real-valued, independent and $X$ bounded in $L_p$-norm. It is shown that $I(W;Y) \le F_I(I(W;X))$ with $F_I(t)0$, if and only if $Z$ has a density whose support is not disjoint from any translate of itself. A related question is to characterize for what couplings $(W,X)$ the mutual information $I(W;Y)$ is close to maximum possible. To that end we show that in order to saturate the channel, i.e. for $I(W;Y)$ to approach capacity, it is mandatory that $I(W;X) o\infty$ (under suitable conditions on the channel). A key ingredient for this result is a deconvolution lemma which shows that post-convolution total variation distance bounds the pre-convolution Kolmogorov-Smirnov distance. Explicit bounds are provided for the special case of the additive Gaussian noise channel with quadratic cost constraint. These bounds are shown to be order-optimal. For this case simplified proofs are provided leveraging Gaussian-specific tools such as the connection between information and estimation (I-MMSE) and Talagrand's information-transportation inequality.

研究动机与目标

• 量化通过具有输入约束的加性噪声信道时互信息的损失程度。
• 建立非线性的强数据处理不等式（SDPIs），严格收缩非退化噪声下的互信息。
• 刻画互信息 $I(W;Y)$ 在何种条件下趋近于信道容量，表明在适当条件下需满足 $I(W;X) \to \infty$。
• 推导具有二次功率约束的加性高斯噪声信道中 $F_I(t)$ 的显式、阶次最优界。

提出的方法

• 作者定义了一个数据处理函数 $F_I(t)$，将输入互信息 $I(W;X)$ 映射为在输入约束下可能的最大输出互信息 $I(W;Y)$。
• 他们证明：当且仅当噪声 $Z$ 具有其支集不与其任意平移不相交的密度时，对所有 $t > 0$ 都有 $F_I(t) < t$。
• 关键技术工具是一个去卷积引理，该引理利用卷积后的总变差距离界定了卷积前的柯尔莫哥洛夫-斯米尔诺夫距离。
• 对于高斯信道，作者利用 I-MMSE 关系和 Talagrand 的信息-运输不等式，推导出简化且阶次最优的界。
• 他们分析了无限维情形，并证明 $F_I^\infty(t,\gamma)/t$ 是递减的，且 $F_I^\infty(t,\gamma)$ 是递增的，从而实现紧致的渐近界。
• 主结果的证明使用特征函数界和 Esseen 不等式，以控制输入分布与高斯分布之间的距离。

实验结果

研究问题

• RQ1 在何种噪声 $Z$ 条件下，具有输入约束的加性噪声信道会使互信息严格收缩？
• RQ2 是否存在精确的函数关系 $F_I(t)$，使得对所有满足 $Y = X + Z$ 的 $W \to X \to Y$ 都有 $I(W;Y) \leq F_I(I(W;X))$？
• RQ3 在二次功率约束下，互信息 $I(W;Y)$ 是否仅当 $I(W;X) \to \infty$ 时才能趋近于信道容量？
• RQ4 如何为具有输入功率约束的加性高斯噪声信道推导出 $F_I(t)$ 的显式、阶次最优界？
• RQ5 Lévy 浓度函数在刻画输入分布无原子性方面起什么作用？

主要发现

• 当且仅当噪声 $Z$ 具有其支集不与其任意平移不相交的密度时，对所有 $t > 0$ 都有互信息 $I(W;Y)$ 严格小于 $I(W;X)$。
• 对于具有二次功率约束 $\gamma$ 的加性高斯噪声信道，函数 $F_I^\infty(t,\gamma)$ 满足 $F_I^\infty(\gamma/2,\gamma) = \gamma/2$，表明最优速率仅在输入互信息趋于无穷的极限下才能实现。
• 在所述噪声条件下，$F_I(t) < t$ 对所有 $t > 0$ 一致成立，证明了严格的数据处理收缩。
• 通过 Talagrand 不等式和 I-MMSE 工具，本文推导出输入分布与高斯分布之间柯尔莫哥洛夫-斯米尔诺夫距离的显式界，表明在高互信息下分布趋近于高斯分布。
• 去卷积引理表明，卷积后的总变差距离界定了卷积前的柯尔莫哥洛夫-斯米尔诺夫距离，从而支持了关键的收缩结果。
• Lévy 浓度函数 $\mathcal{L}(X;\delta)$ 在零处连续当且仅当分布无原子，该性质被用于分析输入分布在趋近高斯极限时的行为。