[论文解读] Wasserstein continuity of entropy and outer bounds for interference channels

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Apr 17, 2015

Wireless Communication Security Techniques参考文献 20被引用 9

一句话总结

本文在正则性条件下建立了微分熵与香农熵关于Wasserstein距离的连续性，表明熵的差异受分布间Wasserstein距离的有界控制。利用该结果及运输-信息不等式，本文为两用户高斯干扰信道推导出一个新的外层界，解决了容量区域表征中长期存在的“缺失角点”问题。

ABSTRACT

It is shown that under suitable regularity conditions, differential entropy is a Lipschitz functional on the space of distributions on $n$-dimensional Euclidean space with respect to the quadratic Wasserstein distance. Under similar conditions, (discrete) Shannon entropy is shown to be Lipschitz continuous in distributions over the product space with respect to Ornstein's $\bar d$-distance (Wasserstein distance corresponding to the Hamming distance). These results together with Talagrand's and Marton's transportation-information inequalities allow one to replace the unknown multi-user interference with its i.i.d. approximations. As an application, a new outer bound for the two-user Gaussian interference channel is proved, which, in particular, settles the "missing corner point" problem of Costa (1985).

研究动机与目标

• 为在有意义度量下，当随机向量的分布接近时，控制熵差异这一基本问题提供解决方案。
• 在信息论反证法中，用i.i.d.近似替代复杂且非i.i.d.的多用户干扰。
• 解决两用户高斯干扰信道（GIC）容量区域中的“缺失角点”问题。
• 基于Wasserstein距离而非KL散度，建立微分熵与离散熵的新连续性界。
• 在正则性条件下，推导出连接KL散度与Wasserstein距离的反向运输-信息不等式。

提出的方法

• 证明在矩和密度正则性条件下，$\mathbb{R}^n$ 上的微分熵关于$W_2$-距离具有$O(\sqrt{n})$-Lipschitz连续性。
• 在乘积空间上，建立香农熵关于Ornstein的$\bar{d}$-距离（汉明距离下的Wasserstein距离）的类似$O(n)$-Lipschitz连续性。
• 应用Talagrand与Marton的运输-信息不等式，将$W_2$-距离与KL散度关联，从而通过散度控制熵差异。
• 利用熵的Wasserstein连续性，在GIC反证法中用i.i.d.高斯近似替代非i.i.d.干扰。
• 推导反向不等式：在正则性条件下，$D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$。
• 将结果应用于证明两用户高斯干扰信道的新外层界，从而解决缺失角点问题。

实验结果

研究问题

• RQ1 在适当正则性下，微分熵能否以Wasserstein距离而非KL散度为基准进行有界控制？
• RQ2 在两用户高斯干扰信道的反证法中，非i.i.d.干扰能否被i.i.d.近似有效替代？
• RQ3 $W_2$-距离是否能在高维设置下控制微分熵的差异？
• RQ4 能否在正则性条件下建立一个反向运输不等式，使KL散度受Wasserstein距离控制？
• RQ5 基于Wasserstein的连续性新结果是否能解决两用户GIC容量区域中的“缺失角点”问题？

主要发现

• 在矩和密度正则性条件下，$\mathbb{R}^n$ 上的微分熵关于$W_2$-距离具有$O(\sqrt{n})$-Lipschitz连续性。
• 在乘积空间上，香农熵关于Ornstein的$\bar{d}$-距离具有$O(n)$-Lipschitz连续性。
• 通过基于Wasserstein连续性的新外层界，两用户高斯干扰信道容量区域中的“缺失角点”问题得以解决。
• 在正则性条件下，建立了反向运输不等式：$D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$。
• 结合Talagrand不等式与Wasserstein连续性，可基于KL散度控制熵差异，从而实现GIC反证法。
• 结果表明，在高维与多用户场景下，Wasserstein距离比KL散度更适合作为控制熵差异的度量。