[论文解读] The Dispersion of Lossy Source Coding

Amir Ingber, Yuval Kochman|arXiv (Cornell University)|Feb 13, 2011

Wireless Communication Security Techniques参考文献 7被引用 16

一句话总结

本文通过推导最小速率的分散近似，建立了有损信源编码的有限块长行为。结果表明，相对于率失真函数的速率冗余按 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ 的方式增长，其中 $ V(\mathbf{p},D) $ 为超额失真分散度，将信道编码的分散框架扩展至信源编码领域。

ABSTRACT

In this work we investigate the behavior of the minimal rate needed in order to guarantee a given probability that the distortion exceeds a prescribed threshold, at some fixed finite quantization block length. We show that the excess coding rate above the rate-distortion function is inversely proportional (to the first order) to the square root of the block length. We give an explicit expression for the proportion constant, which is given by the inverse Q-function of the allowed excess distortion probability, times the square root of a constant, termed the excess distortion dispersion. This result is the dual of a corresponding channel coding result, where the dispersion above is the dual of the channel dispersion. The work treats discrete memoryless sources, as well as the quadratic-Gaussian case.

研究动机与目标

• 表征在有限块长下实现给定超额失真概率所需的最小编码速率。
• 将信道编码的分散框架扩展至有损信源编码这一对偶问题。
• 推导出相对于率失真函数的速率冗余的显式表达式，其形式与块长和失真概率相关。
• 在满足光滑性条件的前提下，建立离散无记忆信源及二次高斯情形下的结果。

提出的方法

• 利用中心极限定理和Berry-Esseen界，推导超额失真概率的正态近似。
• 将超额失真分散度 $ V(\mathbf{p},D) $ 定义为率失真函数对信源分布的导数的方差。
• 通过对真实信源分布附近展开率失真函数的泰勒级数，将速率冗余与信源序列的经验类型关联起来。
• 利用大偏差和集中不等式，对泰勒展开中的高阶项进行有界。
• 通过概率链和 $ Q $-函数的高斯近似，建立速率冗余的上下界。
• 利用 $ Q^{-1} $ 函数的光滑性，证明速率冗余的渐近等价性为 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $。

实验结果

研究问题

• RQ1 当要求固定超额失真概率时，最小编码速率如何随块长变化？
• RQ2 有损信源编码中，相对于率失真函数的有限块长修正项是什么？
• RQ3 超额失真分散度 $ V(\mathbf{p},D) $ 如何与信源和失真度量的统计特性相关联？
• RQ4 信道编码的分散框架能否被对偶地应用于具有超额失真约束的信源编码？

主要发现

• 相对于率失真函数的超额编码速率，渐近地与 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ 成正比，其中 $ V(\mathbf{p},D) $ 为超额失真分散度。
• 该结果在率失真函数满足光滑性条件的离散无记忆信源以及具有二次失真的高斯信源下成立。
• 分散度 $ V(\mathbf{p},D) $ 定义为率失真函数对信源分布的导数的方差。
• 通过率失真函数的泰勒展开及经验类型的集中不等式，推导出速率冗余。
• 利用Berry-Esseen定理和独立同分布随机变量和的高斯近似，验证了渐近近似。
• 该结果为Marton的超额失真指数提供了有限块长修正，弥合了渐近与非渐近分析之间的鸿沟。