[论文解读] On Exact and $\infty$-Rényi Common Informations

Lei Yu, Vincent Y. F. Tan|arXiv (Cornell University)|Sep 30, 2018

Wireless Communication Security Techniques参考文献 44被引用 3

一句话总结

本论文建立了精确公共信息与 ∞-Rényi 公共信息之间的等价性，证明了对于所有联合分布，二者相等。对于双重对称二元源，它给出了单字母表征，表明二者均严格大于 Wyner 的公共信息，从而解决了 Kumar、Li 和 El Gamal 提出的一个开放问题。

ABSTRACT

Recently, two extensions of Wyner's common information extemdash exact and Rényi common informations extemdash were introduced respectively by Kumar, Li, and El Gamal (KLE), and the present authors. The class of common information problems involves determining the minimum rate of the common input to two independent processors needed to exactly or approximately generate a target joint distribution. For the exact common information problem, exact generation of the target distribution is required, while for Wyner's and $α$-Rényi common informations, the relative entropy and Rényi divergence with order $α$ were respectively used to quantify the discrepancy between the synthesized and target distributions. The exact common information is larger than or equal to Wyner's common information. However, it was hitherto unknown whether the former is strictly larger than the latter for some joint distributions. In this paper, we first establish the equivalence between the exact and $\infty$-Rényi common informations, and then provide single-letter upper and lower bounds for these two quantities. For doubly symmetric binary sources, we show that the upper and lower bounds coincide, which implies that for such sources, the exact and $\infty$-Rényi common informations are completely characterized. Interestingly, we observe that for such sources, these two common informations are strictly larger than Wyner's. This answers an open problem posed by KLE. Furthermore, we extend Wyner's, $\infty$-Rényi, and exact common informations to sources with countably infinite or continuous alphabets, including Gaussian sources.

研究动机与目标

• 为解决关于精确公共信息是否严格大于任意联合分布下 Wyner 的公共信息这一开放问题。
• 为一般源建立精确公共信息与 ∞-Rényi 公共信息的单字母表征。
• 将公共信息的定义扩展至具有可数无限或连续字母表的源，包括高斯源。
• 证明对于双重对称二元源，精确公共信息与 ∞-Rényi 公共信息可被完全表征，且严格超过 Wyner 的公共信息。

提出的方法

• 引入 ∞-Rényi 公共信息，即当使用 ∞ 阶 R´nyi 散度度量偏差时的最小公共速率。
• 推导出 ∞-Rényi 公共信息的单字母表达式，即对所有乘积分布取 ∞ 阶 R´nyi 散度的最小值。
• 通过证明二者由相同的优化问题表征，证明精确公共信息等于 ∞-Rényi 公共信息。
• 通过将目标分布 π_XY 分解为乘积分布的混合，构造出一个可实现该界的有效耦合。
• 应用 ∞ 阶 R´nyi 散度的极小化-极大化性质，推导出紧致的上下界。
• 建立 ∞-Rényi 公共信息在 i.i.d. 扩展上的可加性，从而实现渐近表征。

实验结果

研究问题

• RQ1 对于任意联合分布，精确公共信息是否严格大于 Wyner 的公共信息？
• RQ2 对于特定源（如双重对称二元源）的精确公共信息能否以闭式表达表征？
• RQ3 精确公共信息与 ∞-Rényi 公共信息之间是否存在等价性？
• RQ4 这些公共信息度量在具有无限或连续字母表的源上表现如何？
• RQ5 能否利用 ∞-Rényi 公共信息的单字母表征推导出精确公共信息的紧致界？

主要发现

• 对于所有联合分布，精确公共信息恰好等于 ∞-Rényi 公共信息。
• 对于双重对称二元源，精确公共信息与 ∞-Rényi 公共信息均由单字母公式完全表征。
• 对于双重对称二元源，精确公共信息与 ∞-Rényi 公共信息均严格大于 Wyner 的公共信息。
• ∞-Rényi 公共信息由任意乘积分布与目标分布 π_XY 之间的最小 ∞ 阶 R´nyi 散度给出。
• 精确公共信息表征为 i.i.d. 扩展的公共熵的极限，且等于 ∞-Rényi 公共信息。
• 通过适当推广散度度量，该结果可扩展至具有可数无限或连续字母表的源，包括高斯源。