[论文解读] Strong data-processing inequalities for channels and Bayesian networks

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Aug 25, 2015

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

该论文通过扩展收缩系数至多跳网络，利用Evans-Schulman方法，为信道和贝叶斯网络建立了强数据处理不等式（SDPIs）。推导出互信息、总变差（多brusin）和非线性 $F_I$-曲线收缩的端到端SDPIs，将边界解释为渗透概率，并实现了从单字母情形推导出具有反馈的 $n$-字母记忆无失真信道的SDPIs。

ABSTRACT

The data-processing inequality, that is, $I(U;Y) \le I(U;X)$ for a Markov chain $U o X o Y$, has been the method of choice for proving impossibility (converse) results in information theory and many other disciplines. Various channel-dependent improvements (called strong data-processing inequalities, or SDPIs) of this inequality have been proposed both classically and more recently. In this note we first survey known results relating various notions of contraction for a single channel. Then we consider the basic extension: given SDPI for each constituent channel in a Bayesian network, how to produce an end-to-end SDPI? Our approach is based on the (extract of the) Evans-Schulman method, which is demonstrated for three different kinds of SDPIs, namely, the usual Ahslwede-Gács type contraction coefficients (mutual information), Dobrushin's contraction coefficients (total variation), and finally the $F_I$-curve (the best possible non-linear SDPI for a given channel). Resulting bounds on the contraction coefficients are interpreted as probability of site percolation. As an example, we demonstrate how to obtain SDPI for an $n$-letter memoryless channel with feedback given an SDPI for $n=1$. Finally, we discuss a simple observation on the equivalence of a linear SDPI and comparison to an erasure channel (in the sense of "less noisy" order). This leads to a simple proof of a curious inequality of Samorodnitsky (2015), and sheds light on how information spreads in the subsets of inputs of a memoryless channel.

研究动机与目标

• 将单信道强数据处理不等式（SDPIs）扩展至具有多个信道的多终端贝叶斯网络。
• 开发统一框架，利用互信息、总变差和非线性 $F_I$-曲线的收缩系数，对网络中的信息损失进行边界估计。
• 将所得的收缩边界解释为网络系统中站点渗透概率。
• 实现从 $n=1$ 情况推导出具有反馈的 $n$-字母记忆无失真信道的SDPIs。
• 建立线性SDPIs与删除信道比较之间的等价性，简化已知不等式的证明。

提出的方法

• 将Evans-Schulman方法适配于串行和并行信道网络中SDPIs的组合。
• 使用Kantorovich对偶性和最优传输方法，边界联合分布耦合的最小成本，从而推导出总变差和互信息的收缩。
• 提出 $F_I$-曲线（最佳非线性SDPI）的新公式，并通过耦合和对偶技术推导其收缩边界。
• 将该方法应用于三种SDPIs：Ahlsweede-Gács互信息收缩、Dobrushin总变差收缩和 $F_I$-曲线非线性收缩。
• 利用与删除信道的比较证明线性SDPI等价性，并推导出Samorodnitsky不等式的简洁证明。
• 同时使用最大耦合和可测选择，以处理一般（非离散）输入/输出空间。

实验结果

研究问题

• RQ1 如何将单个信道的强数据处理不等式（SDPIs）组合为贝叶斯网络的端到端SDPIs？
• RQ2 在网络信道中，互信息、总变差和非线性 $F_I$-曲线的最紧可能收缩系数是什么？
• RQ3 收缩系数如何与网络系统中的渗透阈值相关联？
• RQ4 能否通过网络组合方法，从 $n=1$ 情况推导出具有反馈的 $n$-字母记忆无失真信道的SDPIs？
• RQ5 线性SDPIs与删除信道比较之间存在何种联系，它如何简化已知不等式？

主要发现

• 使用Evans-Schulman方法推导出网络中互信息的端到端SDPIs，收缩系数被解释为渗透概率。
• 对于总变差，通过最优传输和耦合推导出Dobrushin型收缩边界，证明在非退化信道下存在严格收缩。
• 通过对偶性和耦合方法，在网络中对 $F_I$-曲线（最佳非线性SDPI）进行边界估计，所得边界比线性近似更紧。
• 论文证明线性SDPI等价于在“较不噪声”顺序下与删除信道的比较，从而为Samorodnitsky不等式提供了新证明。
• 开发了一种新方法，将SDPIs从 $n=1$ 扩展至具有反馈的 $n$-字母记忆无失真信道，同时保持紧致性。
• 联合分布 $P_{XY}$ 的收缩系数满足 \\min_{\pi} \mathbb{E}[\mathbf{1}_{(X,Y)\neq(X',Y')}] + \mathbb{E}[\mathbf{1}_{X\neq X'}] = d_{\rm TV}(P_{XY},Q_{XY}) + d_{\rm TV}(P_X,Q_X)$，证明了耦合边界中的等式成立。