[论文解读] Source Coding Problems with Conditionally Less Noisy Side Information

Roy Timo, Tobias J. Oechtering+1 more|arXiv (Cornell University)|Dec 11, 2012

Wireless Communication Security Techniques参考文献 20被引用 4

一句话总结

该论文针对一类新型源编码问题，证明了Heegard与Berger的单字母率失真（RD）界在最优性。此类问题中，一个接收端的侧信息在条件上比另一个更清洁。通过基于Kramer信息论望远镜恒等式的新型单字母化引理，作者建立了反证，确认在该条件下，其可实现界是紧致的，从而扩展了对物理退化侧信息情形的先前结果，并推广至后续细化设置。

ABSTRACT

A computable expression for the rate-distortion (RD) function proposed by Heegard and Berger has eluded information theory for nearly three decades. Heegard and Berger's single-letter achievability bound is well known to be optimal for \emph{physically degraded} side information; however, it is not known whether the bound is optimal for arbitrarily correlated side information (general discrete memoryless sources). In this paper, we consider a new setup in which the side information at one receiver is \emph{conditionally less noisy} than the side information at the other. The new setup includes degraded side information as a special case, and it is motivated by the literature on degraded and less noisy broadcast channels. Our key contribution is a converse proving the optimality of Heegard and Berger's achievability bound in a new setting. The converse rests upon a certain \emph{single-letterization} lemma, which we prove using an information theoretic telescoping identity {recently presented by Kramer}. We also generalise the above ideas to two different successive-refinement problems.

研究动机与目标

• 为解决多接收端源编码中任意相关侧信息的率失真函数表征中的差距问题。
• 识别一类新的侧信息结构——条件性较清洁侧信息——在此类结构中，Heegard与Berger的可实现界是最优的。
• 将反证技术推广至具有侧信息的后续细化问题，包括物理退化和可扩展侧信息设置。
• 基于Kramer的望远镜恒等式，开发一种新型单字母化引理，以支持反证证明。

提出的方法

• 推导出一个单字母化引理，该引理使用包含辅助随机变量的单字母表达式，来表示两个n字母条件互信息的差值。
• 将该引理应用于具有侧信息的两接收端源编码问题，利用望远镜恒等式简化反证链中的不等式。
• 在条件性较清洁侧信息假设下，为Heegard-Berger问题建立了反证，证明其可实现界的最优性。
• 将该方法扩展至两个后续细化问题：一个具有物理退化侧信息，另一个具有可扩展侧信息，推导出新的反证界。
• 利用Fano不等式和连续性论证，处理n → ∞和ε → 0时的渐近极限。
• 引入字母表大小有界的辅助随机变量W₁、W₂、W₃（≤ |𝒳|），以实现单字母化表征。

实验结果

研究问题

• RQ1 Heegard与Berger的单字母可实现界在具有任意相关侧信息的源编码中是否是最优的？
• RQ2 反证证明能否超越物理退化侧信息情形，推广至更广泛的侧信息结构类别？
• RQ3 条件性较清洁侧信息模型是否允许一个与Heegard与Berger界匹配的紧致反证？
• RQ4 所提出的单字母化引理能否应用于具有侧信息的后续细化问题？
• RQ5 望远镜恒等式技术能否用于在多终端源编码中推导出新的反证？

主要发现

• 反证证明了在条件性较清洁侧信息模型下，Heegard与Berger的可实现界是最优的，从而解决了该设置下一贯存在的开放问题。
• 关键技术贡献是一个单字母化引理，它通过Kramer的信息论望远镜恒等式，使反证证明成为可能。
• 反证在其中一个接收端采用确定性失真函数的条件下建立，且该界在ε → 0和n → ∞的极限下成立。
• 该方法推广至两个后续细化问题：一个具有物理退化侧信息，另一个具有可扩展侧信息，分别得出了新的反证界。
• 反证中引入的辅助随机变量W₁、W₂、W₃的字母表大小受|𝒳|限制，确保了单字母化性质。
• 证明依赖于假设(Y₁ ⪰ Y₂ | X̃₂)，即给定X̃₂时，Y₁在条件上比Y₂更清洁，该假设推广了物理退化情形。