[论文解读] Wyner's Common Information: Generalizations and A New Lossy Source Coding Interpretation

Ge Xu, Wei Liu+1 more|arXiv (Cornell University)|Jan 10, 2013

Wireless Communication Security Techniques参考文献 20被引用 18

一句话总结

本文将威纳的公共信息概念推广至具有任意字母表的N个依赖随机变量，并通过Gray-Wyner网络在失真源编码中建立了新的操作解释。研究证明，当总速率趋近于联合率失真函数时，威纳的公共信息等于最小公共消息速率，且该结果与特定失真约束无关——仅需失真位于指定区域内，从而在公共信息与失真压缩之间建立了根本性联系。

ABSTRACT

Wyner's common information was originally defined for a pair of dependent discrete random variables. Its significance is largely reflected in, hence also confined to, several existing interpretations in various source coding problems. This paper attempts to both generalize its definition and to expand its practical significance by providing a new operational interpretation. The generalization is two-folded: the number of dependent variables can be arbitrary, so are the alphabet of those random variables. New properties are determined for the generalized Wyner's common information of N dependent variables. More importantly, a lossy source coding interpretation of Wyner's common information is developed using the Gray-Wyner network. In particular, it is established that the common information equals to the smallest common message rate when the total rate is arbitrarily close to the rate distortion function with joint decoding. A surprising observation is that such equality holds independent of the values of distortion constraints as long as the distortions are within some distortion region. Examples about the computation of common information are given, including that of a pair of dependent Gaussian random variables.

研究动机与目标

• 将威纳的公共信息从离散随机变量对推广至具有任意字母表的N个依赖随机变量。
• 在使用Gray-Wyner网络的失真源编码背景下，建立威纳公共信息的新操作解释。
• 证明当总速率任意接近联合率失真函数时，公共信息等于可实现的最小公共消息速率。
• 证明该最小公共速率在一定失真约束范围内保持不变，且不依赖于具体失真值，只要其位于定义的失真区域内。

提出的方法

• 通过等价于马尔可夫链条件的条件独立结构，将威纳的公共信息推广至N个依赖随机变量。
• 将广义公共信息定义为：在给定辅助变量W时，N个随机变量与W的互信息的下确界，使得这些变量在W的条件下条件独立。
• 利用Gray-Wyner源编码网络推导出失真源编码的解释，其中同时传输公共消息与独立消息。
• 证明当采用联合译码时，总速率趋近于联合率失真函数，此时公共信息等于最小公共消息速率。
• 建立所提出的表征与失真源编码中先前结果（特别是文献[17]中的结果）之间的等价性。
• 通过利用对称性与最小均方误差（MMSE）性质，推导出二元高斯随机变量公共信息的闭式表达式。

实验结果

研究问题

• RQ1 在多源失真源编码中，威纳公共信息的操作意义是什么？
• RQ2 威纳公共信息能否推广至具有任意字母表的N个依赖随机变量？
• RQ3 当总速率趋近于联合率失真函数时，Gray-Wyner网络中的最小公共消息速率是否等于威纳公共信息？
• RQ4 只要失真约束位于某一特定失真区域内，最小公共消息速率是否与失真约束无关？
• RQ5 一对联合高斯随机变量的公共信息的闭式表达式是什么？

主要发现

• N个依赖随机变量的广义威纳公共信息通过条件独立结构定义，满足单调性与数据处理不等式等关键性质。
• 在Gray-Wyner网络中，当总速率任意接近联合率失真函数时，威纳公共信息等于最小公共消息速率，且该结果与具体失真约束无关，只要失真位于失真区域内。
• 相关系数为ρ的二元高斯随机变量的公共信息精确为 $ \frac{1}{2}\log\frac{1+\rho}{1-\rho} $，该结果通过MMSE与率失真理论推导得出。
• 公共信息在变量的线性缩放下保持不变，对高斯对而言仅依赖于相关系数ρ。
• 对于满足 $ D_1 + D_2 \leq 2(1 - \rho) $ 的所有失真对 $ (D_1, D_2) $，最小公共消息速率保持恒定，表明其对失真变化具有鲁棒性。
• 通过失真源编码提出的公共信息表征与文献[17]中的表征等价，验证了新的操作解释的有效性。