[论文解读] Strong data processing inequalities and $\Phi$-Sobolev inequalities for discrete channels

Maxim Raginsky|arXiv (Cornell University)|Nov 13, 2014

Probabilistic and Robust Engineering Design参考文献 46被引用 5

一句话总结

本文对离散无 memory 信道的强数据处理不等式（SDPIs）和 Φ-Sobolev 不等式进行了全面分析，建立了变分表征、SDPI 常数的界，并揭示了 SDPIs 与 Φ-Sobolev 不等式之间的联系。研究推导了乘积信道的最优 SDPI 常数，将其与最大相关性及超收缩性联系起来，并将结果应用于信息论、马尔可夫链和统计物理，主要贡献包括通过马尔可夫收缩获得的通用上界，以及首次揭示了可逆马尔可夫链中 SDPI 与 Φ-Sobolev 常数之间的新联系。

ABSTRACT

The noisiness of a channel can be measured by comparing suitable functionals of the input and output distributions. For instance, the worst-case ratio of output relative entropy to input relative entropy for all possible pairs of input distributions is bounded from above by unity, by the data processing theorem. However, for a fixed reference input distribution, this quantity may be strictly smaller than one, giving so-called strong data processing inequalities (SDPIs). The same considerations apply to an arbitrary $\Phi$-divergence. This paper presents a systematic study of optimal constants in SDPIs for discrete channels, including their variational characterizations, upper and lower bounds, structural results for channels on product probability spaces, and the relationship between SDPIs and so-called $\Phi$-Sobolev inequalities (another class of inequalities that can be used to quantify the noisiness of a channel by controlling entropy-like functionals of the input distribution by suitable measures of input-output correlation). Several applications to information theory, discrete probability, and statistical physics are discussed.

研究动机与目标

• 系统研究离散信道中强数据处理不等式（SDPIs）的最优常数，特别是针对 Φ-散度。
• 在乘积概率空间上建立 SDPI 常数的变分表征、上下界及结构性结果。
• 探讨 SDPIs 与 Φ-Sobolev 不等式之间的关系，特别是在可逆马尔可夫链背景下的关系。
• 将推导出的不等式应用于信息论、离散概率和统计物理中的问题，如浓度不等式、混合时间及图模型中的重构问题。

提出的方法

• 通过多布鲁希尼收缩系数利用马尔可夫收缩推导 SDPI 常数的通用上界。
• 利用最大相关性建立 SDPI 常数的界，尤其在二元对称信道中，η(μ,K) = (1−2ε)²。
• 利用 Φ 的算子凸性推导 SDPI 常数的上界，并将其与次高斯浓度和信息-运输不等式联系起来。
• 应用张量化技术将 SDPI 结果推广至乘积空间，并分析局部信道混合。
• 引入条件 Φ-微熵的变分表示，并利用交换对 (X,X′) 将 SDPI 与协方差型表达式联系起来。
• 证明可逆马尔可夫链的最优 Φ-Sobolev 常数与因子化转移核的 SDPI 常数相关。

实验结果

研究问题

• RQ1 对于离散信道，SDPI 常数 η(μ,K) 的最紧可能上下界是什么？它们如何随 Φ 和信道结构变化？
• RQ2 在离散信道中，特别是二元对称信道等对称情形下，SDPI 常数如何与最大相关性和超收缩常数相关联？
• RQ3 在何种程度上可通过张量化和局部信道分解表征乘积信道的 SDPI 常数？
• RQ4 可逆马尔可夫链中，SDPI 常数与 Φ-Sobolev 常数之间的精确关系是什么？
• RQ5 如何利用 SDPI 和 Φ-Sobolev 不等式推导新的浓度不等式和马尔可夫链混合时间的界？

主要发现

• 对于输入分布为 Bern(1/2) 的二元对称信道（BSC），SDPI 常数精确为 η(μ,K) = (1−2ε)²，与最大相关性的平方一致。
• SDPI 常数被普遍上界限制于多布鲁希尼收缩系数，这是信道噪声的已知度量，且对某些信道类此界是紧的。
• 对于算子凸 Φ，SDPI 常数被最大相关性的平方所限制，从而在相关性与散度压缩之间建立了精确的解析联系。
• 本文建立了条件 Φ-微熵的变分表示，通过 Φ 及其导数的凸性与凹性性质，实现了对 Φ-微熵的新界。
• 首次证明了可逆马尔可夫链中最优 Φ-Sobolev 常数与 SDPI 常数之间的新联系，表明前者可由转移核的因子化推导得出。
• 应用包括：马尔可夫链中互信息压缩的新界、图上最快混合时间的界，以及统计物理模型中 Swendsen-Wang 和热浴动力学的混合时间分析。