[论文解读] Source Coding with Fixed Lag Side Information

Emin Martinian, Gregory W. Wornell|ArXiv.org|Oct 4, 2004

Wireless Communication Security Techniques参考文献 11被引用 19

一句话总结

本文提出了一种低复杂度的源编码算法，通过在解码器端使用固定时延的侧信息，实现了无记忆有限字母表源的率失真函数，利用与带反馈的信道编码之间的对偶性。通过利用前向侧信息——具体而言，即原始源的延迟知识——该方法结合无损压缩和成形技术，以线性复杂度实现了最优失真性能。

ABSTRACT

We consider source coding with fixed lag side information at the decoder. We focus on the special case of perfect side information with unit lag corresponding to source coding with feedforward (the dual of channel coding with feedback) introduced by Pradhan. We use this duality to develop a linear complexity algorithm which achieves the rate-distortion bound for any memoryless finite alphabet source and distortion measure.

研究动机与目标

• 研究在解码器接收到源序列的延迟、完美知识时，固定时延侧信息在源编码中的优势。
• 探讨如何利用前向侧信息（与信道编码中的反馈对偶）来实现率失真函数，同时降低计算复杂度。
• 开发一种实用的、线性复杂度的编码与解码框架，使其能够逼近任意无记忆源和失真度量下的理论率失真极限。
• 证明尽管前向侧信息不改变率失真函数，但其可使系统设计更高效，从而能够使用标准的无损压缩和成形工具。

提出的方法

• 作者建立了前向源编码与带反馈信道编码之间的对偶性，利用该对偶性推导出基于Ooi–Wornell反馈信道方案的源编码算法。
• 该方法采用基于块的编码策略，其中源块通过无损压缩进行编码，重建信号通过算术编码的对偶形式进行成形，以匹配期望的分布。
• 编码器采用块结构，每个大小为M的块使用M·H(𝑥̂) + ε比特进行压缩，压缩率根据条件熵H(𝑥̂|𝑥)进行调整。
• 解码器使用延迟的侧信息w_{i−Δ}来重构𝑥̂_i，系统确保互信息I(𝑥̂;𝑥)决定可实现的速率。
• 该算法利用如下恒等式：速率可被界定为I(𝑥̂;𝑥) × {1 + εK/(M H(𝑥̂|𝑥))} / {1 − [H(𝑥̂)/H(𝑥̂|𝑥)]^{-K}}，当M和K增大时，该表达式趋近于I(𝑥̂;𝑥)。
• 通过选择足够大的M和K，系统可渐近地以线性复杂度实现率失真函数，且仅使用标准的无损压缩和成形模块。

实验结果

研究问题

• RQ1 能否利用固定时延的侧信息，特别是源的延迟完美知识，实现低复杂度编码下的率失真函数？
• RQ2 前向源编码与带反馈信道编码之间的对偶性如何促进高效压缩系统的设计？
• RQ3 在前向源编码框架中使用无损压缩与成形技术时，可实现的速率是多少？其与理论率失真极限的接近程度如何？
• RQ4 使用前向侧信息是否能够实现一种线性复杂度系统，使其逼近任意无记忆源和失真度量下的率失真函数？
• RQ5 能否设计出一种系统，使速率趋近于I(𝑥̂;𝑥)，同时保持低计算复杂度？

主要发现

• 所提出的源编码算法通过利用前向侧信息和线性复杂度组件，实现了任意低误差的率失真函数。
• 通过增大块大小M和块数K，速率可被使任意接近I(𝑥̂;𝑥)，且误差项随M和K的增大而趋于零。
• 系统仅使用标准的无损压缩与成形技术——具体为算术编码及其对偶形式——从而实现每符号的线性复杂度。
• 与Ooi–Wornell反馈信道方案的对偶性使得能够构建一个匹配理论率失真极限的源编码系统。
• 尽管无记忆前向侧信息不改变率失真函数，但其使一种实用且低复杂度的实现成为可能，该实现可逼近理论极限。
• 在所提方案下，信息论的率失真函数与操作性率失真函数等价，证实了该方法的最优性。