[论文解读] On Lossless Universal Compression of Distributed Identical Sources

Ahmad Beirami, Faramarz Fekri|arXiv (Cornell University)|Jun 19, 2012

Wireless Communication Security Techniques参考文献 15被引用 5

一句话总结

本文提出了通用分布式同分布源压缩（UC-DIS）框架，用于在编码器无法通信的情况下，对两个空间分离的同分布源的有限长度序列进行无损压缩。通过利用解码器对其中一个源的记忆序列的访问，所提出的DUCompM编码策略通过参数估计与椭球编码实现了显著的冗余减少，即使在解码器具有无限记忆的情况下，其性能也严格优于传统通用压缩方法。

ABSTRACT

Slepian-Wolf theorem is a well-known framework that targets almost lossless compression of (two) data streams with symbol-by-symbol correlation between the outputs of (two) distributed sources. However, this paper considers a different scenario which does not fit in the Slepian-Wolf framework. We consider two identical but spatially separated sources. We wish to study the universal compression of a sequence of length $n$ from one of the sources provided that the decoder has access to (i.e., memorized) a sequence of length $m$ from the other source. Such a scenario occurs, for example, in the universal compression of data from multiple mirrors of the same server. In this setup, the correlation does not arise from symbol-by-symbol dependency of two outputs from the two sources. Instead, the sequences are correlated through the information that they contain about the unknown source parameter. We show that the finite-length nature of the compression problem at hand requires considering a notion of almost lossless source coding, where coding incurs an error probability $p_e(n)$ that vanishes with sequence length $n$. We obtain a lower bound on the average minimax redundancy of almost lossless codes as a function of the sequence length $n$ and the permissible error probability $p_e$ when the decoder has a memory of length $m$ and the encoders do not communicate. Our results demonstrate that a strict performance loss is incurred when the two encoders do not communicate even when the decoder knows the unknown parameter vector (i.e., $m o \infty$).

研究动机与目标

• 解决在编码器无法通信的情况下，对两个空间分离的同分布源的有限长度序列进行压缩的挑战。
• 通过共享未知的源参数而非逐符号依赖来建模相关性。
• 量化在通用压缩中使用解码器端训练数据（记忆序列）所带来的性能增益。
• 推导在有限长度约束下近乎无损压缩的最小最大冗余界。
• 证明即使在渐近情况下，无通信编码器仍能从解码器端信息中获益。

提出的方法

• 提出一种新的编码策略DUCompM，利用解码器对其中一个源的记忆序列的访问，减少对另一源新序列压缩的冗余。
• 使用最大似然估计（MLE）建模未知源参数，并通过均值等于MLE、逆协方差矩阵按费舍尔信息缩放的高斯分布近似后验分布。
• 定义集合 $\mathcal{S}_n(y^m, p_e)$ 为在MLE估计 $\hat{\theta}_Y$ 下，覆盖至少 $1 - p_e$ 后验概率的最小勒贝格体积椭球。
• 使用不完全伽马函数确定阈值 $\delta_d(p_e)$，该阈值定义了基于可接受误差概率 $p_e$ 的椭球边界。
• 应用杰弗里斯先验计算椭球的概率测度 $P_{\mathcal{S}}(p_e)$，该测度量化了通过此编码策略可实现的冗余减少。
• 通过分析椭球的对数测度，推导出平均最小最大冗余的上界，表明其减少量与 $-\log P_{\mathcal{S}}(p_e)$ 成正比。

实验结果

研究问题

• RQ1 解码器对空间分离的同分布源的记忆序列的访问，是否能减少新序列通用压缩中的冗余？
• RQ2 在有限长度通用压缩中，编码器之间无通信是否意味着无法从解码器端训练数据中获得性能增益？
• RQ3 当两个同分布源在无编码器通信条件下进行压缩，但解码器拥有信息时，冗余减少的根本极限是什么？
• RQ4 在有限长度与误差概率约束下，所提出的DUCompM策略与传统通用压缩方案相比性能如何？
• RQ5 当编码器不通信时，即使解码器拥有另一源序列的无限记忆，是否仍存在严格性能损失？

主要发现

• DUCompM编码策略通过利用解码器对同分布源记忆序列的访问，在平均最小最大冗余方面实现了显著减少。
• 冗余减少量由椭球编码集合的概率测度 $P_{\mathcal{S}}(p_e)$ 量化，该测度依赖于序列长度 $n$ 和 $m$、误差概率 $p_e$ 以及费舍尔信息。
• 冗余减少的界按 $-\log P_{\mathcal{S}}(p_e) \propto \frac{d}{2} \log \left( \frac{1}{p_e} \right)$ 缩放，表明误差概率与维度直接影响性能。
• 即使在 $m \to \infty$ 的极限情况下，当编码器不通信时，仍存在严格性能损失，表明仅靠解码器端信息无法消除分布式编码的成本。
• 在有限长度设置下，合理误差概率下，所提方法远优于传统通用压缩，验证了DUCompM的实用价值。
• 基于MLE与费舍尔信息的椭球编码策略，为该分布式场景下的冗余减少提供了一种近似最优、信息论基础坚实的解决方案。