[论文解读] Outer Bounds for Multiterminal Source Coding via a Strong Data Processing Inequality

Thomas A. Courtade|arXiv (Cornell University)|Feb 14, 2013

Wireless Communication Security Techniques被引用 8

一句话总结

本文提出了一种新型的多终端信源编码问题外 bound，利用强数据处理不等式（SDPI），通过利用相关性度量 $ s^* $ 避免引入辅助随机变量，该度量用于量化信息通过信道时的退化程度。关键贡献在于提出了一种将个体率失真函数与 $ s^*(X;Y) $ 和 $ s^*(Y;X) $ 联系起来的和速率外 bound，提供了一个紧致的、非参数化的 bound，适用于一般信源和失真度量。

ABSTRACT

An intuitive outer bound for the multiterminal source coding problem is given. The proposed bound explicitly couples the rate distortion functions for each source and correlation measures which derive from a "strong" data processing inequality. Unlike many standard outer bounds, the proposed bound is not parameterized by a continuous family of auxiliary random variables, but instead only requires maximizing two ratios of divergences which do not depend on the distortion functions under consideration.

研究动机与目标

• 开发一种适用于多终端信源编码问题的一般性、非参数化外 bound，避免对辅助随机变量的需求。
• 将强数据处理不等式在多终端信源编码中的适用性从高斯设定扩展至更一般情形。
• 提供一个统一的框架，用于推导基于 $ s^*(X;Y) $ 的和速率外 bound，该相关性度量源自相对熵。
• 提供一个更紧致、直观的外 bound，能够捕捉个体速率与和速率约束之间的权衡，而无需依赖已知的对偶结果。

提出的方法

• 该方法利用强数据处理不等式（SDPI）来关联信源与其压缩表示之间的互信息。
• 定义 $ s^*(X;Y) = \sup_{Q_X \neq P_X} \frac{D(Q_Y \| P_Y)}{D(Q_X \| P_X)} $，其中 $ Q_Y $ 是在 $ Q_X P_{Y|X} $ 下的输出边缘分布，用于量化相关性的强度。
• 通过将 SDPI 应用于信源序列及其压缩版本的联合分布，推导出外 bound，利用 $ s^* $ 在独立同分布序列上的张量化性质。
• 该 bound 表达为 $ \sum_{i} s^*(Y_i; X) R_i \geq \mathbb{R}_X(D_X) $，将个体速率与率失真函数联系起来。
• 该方法通过直接使用 $ s^* $ 度量避免单字母化，从而在不引入辅助变量的情况下实现 bound。
• 另一种证明方法基于对互信息项的凸性分析，以完成外 bound 的推导。

实验结果

研究问题

• RQ1 能否利用强数据处理不等式推导出多终端信源编码的非参数化外 bound？
• RQ2 如何以一种直接反映率失真权衡的方式量化信源之间的相关性？
• RQ3 能否在不依赖辅助随机变量或单字母化表征的情况下推导出和速率外 bound？
• RQ4 $ s^*(X;Y) $ 在捕捉分布式信源编码基本极限中的作用是什么？
• RQ5 所提出的 bound 与已知 bound（如协作下界或 Berger-Tung 区域）相比如何？

主要发现

• 所提出的外 bound 是非参数化的，仅依赖于 $ s^*(X;Y) $ 和 $ s^*(Y;X) $，避免了辅助随机变量的使用。
• 对于高斯信源，该 bound 恢复了已知的和速率约束，并在 $ \rho $ 较小时提供了紧致的近似。
• 该方法将低分辨率近似 $ R_X + \rho^2 R_Y \geq \frac{1}{2}\log(1/D_X) $ 推广至任意信源，通过 $ s^* $ 实现。
• 该方法对 CEO 问题也成立：$ \sum_{i=1}^k s^*(Y_i; X) R_i \geq \mathbb{R}_X(D_X) $。
• 通过一种不依赖单字母化的替代证明，推导出 Zhao 的公共随机性容量 bound：$ \frac{C(R)}{R} \leq \frac{1}{1 - s^*(X;Y)} $。
• 该 bound 在紧致性意义上是紧的，能够捕捉压缩速率与信源相关性之间的基本权衡，尤其当 $ s^* $ 较小时。