[论文解读] The Likelihood Encoder for Source Coding

Paul Cuff, Eva C. Song|arXiv (Cornell University)|Jul 31, 2013

Wireless Communication Security Techniques参考文献 6被引用 6

一句话总结

本文提出了一种新颖的源编码方法——似然编码器，该方法基于特定信道模型下码字的似然性，采用随机编码规则。通过结合软覆盖引理，作者为信息率失真理论提供了简化的可实现性证明，表明诱导的联合分布能以总变差距离近似目标分布，从而实现紧致的失真-率界限，并具备可处理的分析能力。

ABSTRACT

The likelihood encoder with a random codebook is demonstrated as an effective tool for source coding. Coupled with a soft covering lemma (associated with channel resolvability), likelihood encoders yield simple achievability proofs for known results, such as rate-distortion theory. They also produce a tractable analysis for secure rate-distortion theory and strong coordination.

研究动机与目标

• 通过用基于似然性的随机编码器替代传统的联合典型性编码器，简化源编码中的可实现性证明。
• 展示似然编码器在以最小技术开销证明率失真理论中已知结果方面的有效性。
• 通过精确的分布控制，将似然编码器的适用性扩展至安全率失真和强协调问题。
• 通过软覆盖引理的概率耦合，建立一个清晰且可分析处理的源编码框架。

提出的方法

• 似然编码器根据给定源序列 $ x^n $ 下的似然性 $ \prod_{t=1}^n P_{X|Y}(x_t|y_t(m)) $，随机选择码字索引 $ m $。
• 根据边缘分布 $ \overline{P}_Y $ 生成大小为 $ 2^{nR} $ 的独立同分布码书，码字独立抽取自 $ \overline{P}_Y $。
• 软覆盖引理确保当 $ R > I(X;Y) $ 时，诱导输出分布 $ P_{X^n} $ 在总变差距离下收敛至独立同分布分布 $ \prod_{t=1}^n \overline{P}_X $。
• 分析将编码器-解码器对诱导的实际联合分布 $ P_{X^n,Y^n} $ 与理想化分布 $ Q_{X^n,Y^n} $ 进行比较，后者在码书上均匀分布并通过信道 $ \overline{P}_{X|Y} $ 传输。
• 建立了在码书期望下总变差收敛性 $ \mathbb{E}_{\mathcal{C}}\|P_{X^n,Y^n} - Q_{X^n,Y^n}\|_{TV} \to 0 $，从而可通过 $ \|P - Q\|_{TV} $ 边界实现失真分析。
• 利用不等式 $ \mathbb{E}_P d(X^n,Y^n) \leq \mathbb{E}_Q d(X^n,Y^n) + 2d_{\text{max}} \|P - Q\|_{TV} $ 对失真进行界定，确保当 $ n $ 足够大时 $ \mathbb{E}_P d(X^n,Y^n) < D $。

实验结果

研究问题

• RQ1 与联合典型性编码相比，似然编码器是否能为率失真理论提供更简单、更透明的可实现性证明？
• RQ2 软覆盖引理如何促进诱导分布以总变差距离收敛至目标分布？
• RQ3 似然编码器的随机特性在安全与协同源编码场景中如何实现更紧密的分析？
• RQ4 在何种速率 $ R $ 与失真 $ D $ 条件下，可确保似然编码器下期望失真保持在目标值以下？

主要发现

• 似然编码器通过确保诱导分布 $ P_{X^n,Y^n} $ 在 $ n \to \infty $ 时以总变差距离收敛至理想化分布 $ Q_{X^n,Y^n} $，实现了率失真理论的清晰可实现性证明。
• 当 $ R > I(X;Y) $ 时，软覆盖引理保证 $ \mathbb{E}_{\mathcal{C}}\|P_{X^n} - \prod_{t=1}^n \overline{P}_X\|_{TV} \to 0 $，确保输出分布渐近为独立同分布。
• 在码书期望下，$ P_{X^n,Y^n} $ 与 $ Q_{X^n,Y^n} $ 之间的总变差距离趋于零，从而可通过 $ \|P - Q\|_{TV} $ 项界定期望失真。
• 当 $ n $ 足够大时，若 $ R > I(X;Y) $ 且 $ \mathbb{E}[d(X,Y)] < D $，则似然编码器下的期望失真满足 $ \mathbb{E}_P d(X^n,Y^n) < D $。
• 该方法通过随机码书上的构造性存在性论证，实现了最优率失真函数 $ R = \min_{P_{Y|X}: \mathbb{E}[d(X,Y)] \leq D} I(X;Y) $。