[论文解读] Variable-length compression allowing errors (extended).

Victoria Kostina, Yury Polyanskiy+1 more|arXiv (Cornell University)|Feb 4, 2014

Wireless Communication Security Techniques参考文献 19被引用 5

一句话总结

本文建立了在非零错误概率 𝜀 条件下的可变长度无损与有损压缩的非渐近界，表明渐近速率极限因源分布的增加而降低为 (1−𝜀) 倍，并从下方趋近。推导出一种高度精确的高斯近似，适用于除极短块长外的所有块长。

ABSTRACT

This paper studies the fundamental limits of the minimum average length of lossless and lossy variable-length compression, allowing a nonzero error probability $\epsilon$, for lossless compression. We give non-asymptotic bounds on the minimum average length in terms of Erokhin's rate-distortion function and we use those bounds to obtain a Gaussian approximation on the speed of approach to the limit which is quite accurate for all but small blocklengths: $$(1 - \epsilon) k H(\mathsf S) - \sqrt{\frac{k V(\mathsf S)}{2 \pi} } e^{- \frac { \left(Q^{-1}(\epsilon) ight)^2} 2 }$$ where $Q^{-1}(\cdot)$ is the functional inverse of the $Q$-function and $V(\mathsf S)$ is the source dispersion. A nonzero error probability thus not only reduces the asymptotically achievable rate by a factor of $1 - \epsilon$, but this asymptotic limit is approached from below, i.e. a larger source dispersion and shorter blocklengths are beneficial. Variable-length lossy compression under excess distortion constraint is shown to exhibit similar properties.

研究动机与目标

• 分析在非零错误概率 𝜀 条件下可变长度压缩的根本极限。
• 推导无损与有损压缩下最小平均码长的非渐近界。
• 量化错误概率对趋近渐近速率极限速度的影响。
• 将分析扩展至在超出失真约束下的可变长度有损压缩。

提出的方法

• 利用 Erokhin 的率失真函数，对具有错误概率 𝜀 的可变长度压缩的最小平均码长进行界约束。
• 推导出包含反 Q 函数与源分散 V(S) 的码长高斯近似。
• 该近似模型化了趋近渐近速率极限的速度，表明其从下方趋近。
• 该方法适用于无损与有损压缩，在超出失真约束下也观察到类似行为。
• 关键方程为 (1−𝜀)kH(S) − √(kV(S)/(2π)) × exp(−(Q⁻¹(𝜀))²/2)，用于近似最小平均码长。
• 该方法表明，当 𝜀 > 0 时，更短的块长与更高的分散度可提升收敛速度。

实验结果

研究问题

• RQ1 非零错误概率 𝜀 如何影响可变长度压缩中的最小平均码长？
• RQ2 当 𝜀 > 0 时，趋近渐近速率极限的速度如何？与零错误情况有何不同？
• RQ3 高斯近似能否准确描述具有错误概率的可变长度压缩的非渐近行为？
• RQ4 源分散 V(S) 在非零错误概率下如何影响收敛速度？
• RQ5 在超出失真约束下，可变长度有损压缩是否表现出类似性质？

主要发现

• 当允许非零错误概率时，可变长度压缩的渐近速率极限降低为 (1−𝜀) 倍。
• 渐近极限从下方趋近，意味着在 𝜀 > 0 时，更短的块长与更高的源分散度具有优势。
• 高斯近似 (1−𝜀)kH(S) − √(kV(S)/(2π)) × exp(−(Q⁻¹(𝜀))²/2) 在除极短块长外的所有块长上均能准确预测最小平均码长。
• 该近似表明，趋近渐近极限的速度取决于块长 k 与源分散 V(S)。
• 在超出失真约束下的可变长度有损压缩表现出类似行为，有效速率降低相同，且从下方趋近。
• 反 Q 函数 Q⁻¹(𝜀) 量化了错误概率与码长之间的权衡，显示出对 𝜀 的强指数依赖性。