[论文解读] Source Coding With Encoder Side Information

Emin Martinian, Gregory W. Wornell+1 more|ArXiv.org|Dec 28, 2004

Wireless Communication Security Techniques参考文献 37被引用 4

一句话总结

本文引入了失真侧信息——编码器对哪些信号分量对失真更敏感的已知知识——证明即使解码器未知，此类信息也能显著降低率失真。它证明了仅编码器拥有失真侧信息相比无侧信息具有显著优势，且缺乏完整侧信息知识导致的率失真损失是有限的，使其成为分布式信源编码中Wyner-Ziv信号侧信息框架的有力补充。

ABSTRACT

We introduce the idea of distortion side information, which does not directly depend on the source but instead affects the distortion measure. We show that such distortion side information is not only useful at the encoder, but that under certain conditions, knowing it at only the encoder is as good as knowing it at both encoder and decoder, and knowing it at only the decoder is useless. Thus distortion side information is a natural complement to the signal side information studied by Wyner and Ziv, which depends on the source but does not involve the distortion measure. Furthermore, when both types of side information are present, we characterize the penalty for deviating from the configuration of encoder-only distortion side information and decoder-only signal side information, which in many cases is as good as full side information knowledge.

研究动机与目标

• 研究失真侧信息在有失真信源编码中的作用，特别是当仅在编码器知晓时的情况。
• 确定仅在编码器拥有失真侧信息时，是否能相对于无侧信息提供有意义的率失真优势。
• 表征当侧信息在编码器和解码器均不可用时的率失真损失，尤其与完整侧信息知识进行比较。
• 为失真侧信息建立理论基础，使其成为Wyner-Ziv信号侧信息设置的自然补充。

提出的方法

• 提出一种依赖于编码器侧信息 q[i] 的失真度量 d(x[i], x̂[i]; q[i])，用于建模信号分量的感知重要性或可靠性。
• 分析在不同配置下的率失真函数：仅编码器、仅解码器和完整侧信息的失真侧信息。
• 使用一种替代的香农下界（SLB），其中测试信道分布为 z = x − x̂∗q,w，且 z 在给定 q 时条件独立于 w，以界定率失真损失。
• 通过在高斯假设下分析微分熵和相对熵项，推导出仅编码器与完整侧信息配置之间率失真损失的上界。
• 应用Prelov-van der Meulen关于互信息导数的结果，以界定熵对噪声功率的导数，从而推导出率失真损失的上界。
• 证明测试信道噪声 z 的方差可被 σ²_max 有界，确保该上界保持有限且有意义。

实验结果

研究问题

• RQ1 仅在编码器知晓的失真侧信息是否仍能提供显著的率失真优势？
• RQ2 由于缺乏解码器对失真侧信息的了解而导致的率失真损失是否是有限的？如果是，如何量化？
• RQ3 在率失真权衡方面，仅编码器的失真侧信息性能与完整侧信息情况相比如何？
• RQ4 与最优配置（仅编码器拥有失真侧信息，仅解码器拥有信号侧信息）相比，偏离该配置的代价是什么？
• RQ5 所提出的框架能否推广至非高斯或非二次失真度量？

主要发现

• 仅编码器拥有失真侧信息时，即使解码器完全不知情，仍能相对于无侧信息实现任意大的率失真优势。
• 仅编码器与完整侧信息配置之间的率失真损失被有界为 1/2 log(1 + σ²_max / σ²_min)，该值有限，仅依赖于信噪比范围。
• 该率失真损失与源分布无关，仅依赖于测试信道噪声的方差和源的最小条件方差。
• 采用有界 z 方差的替代香农下界，确保上界保持紧致且可计算，而无需知道最优测试信道分布。
• 该框架表明，失真侧信息不仅有用，且在某些配置下可与完整侧信息相媲美，尤其在与信号侧信息结合时。
• 本文纠正了“仅编码器拥有侧信息永远无用”的常见误解，通过证明其在失真敏感压缩中的实用性。