[论文解读] Non-asymptotic Equipartition Properties for Independent and Identically Distributed Sources

Enhui Yang, Jin Meng|arXiv (Cornell University)|Apr 16, 2012

Wireless Communication Security Techniques参考文献 3被引用 4

一句话总结

本文通过表征 i.i.d. 源的有限块长下经验对数似然 $-\frac{1}{n}\ln p(X_1^n)$ 的分布，建立了非渐近等分性原理（NEP），从而实现精确的非渐近信源编码界。关键结果表明，当错误概率为 $\Theta(n^{-\alpha}/\sqrt{\ln n})$ 时，最小固定码率是 $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$，其中 $\sigma_H^2(X)$ 为信息方差。

ABSTRACT

Given an independent and identically distributed source $X = \{X_i \}_{i=1}^{\infty}$ with finite Shannon entropy or differential entropy (as the case may be) $H(X)$, the non-asymptotic equipartition property (NEP) with respect to $H(X)$ is established, which characterizes, for any finite block length $n$, how close $-{1\over n} \ln p(X_1 X_2...X_n)$ is to $H(X)$ by determining the information spectrum of $X_1 X_2...X_n $, i.e., the distribution of $-{1\over n} \ln p(X_1 X_2...X_n)$. Non-asymptotic equipartition properties (with respect to conditional entropy, mutual information, and relative entropy) in a similar nature are also established. These non-asymptotic equipartition properties are instrumental to the development of non-asymptotic coding (including both source and channel coding) results in information theory in the same way as the asymptotic equipartition property to all asymptotic coding theorems established so far in information theory. As an example, the NEP with respect to $H(X)$ is used to establish a non-asymptotic fixed rate source coding theorem, which reveals, for any finite block length $n$, a complete picture about the tradeoff between the minimum rate of fixed rate coding of $X_1...X_n$ and error probability when the error probability is a constant, or goes to 0 with block length $n$ at a sub-polynomial, polynomial or sub-exponential speed. With the help of the NEP with respect to other information quantities, non-asymptotic channel coding theorems of similar nature will be established in a separate paper.

研究动机与目标

• 开发 i.i.d. 源的非渐近等分性原理（NEP），作为渐近等分性原理（AEP）的有限块长对应版本。
• 表征有限 $n$ 下 $-\frac{1}{n}\ln p(X_1^n)$ 的分布，从而实现对信源与信道编码的非渐近分析。
• 建立一个非渐近固定码率信源编码定理，量化在多个错误衰减区间中码率与错误概率之间的权衡。
• 将 NEP 扩展至条件熵、互信息和相对熵，以增强其在非渐近信息论中的广泛适用性。

提出的方法

• 利用集中不等式和大偏差技术，推导出具有有限熵 $H(X)$ 的 i.i.d. 源的 $-\frac{1}{n}\ln p(X_1^n)$ 的信息谱。
• 应用中心极限定理和 Edgeworth 展开，近似 $-\frac{1}{n}\ln p(X_1^n)$ 在 $H(X)$ 附近的分布，引入信息方差 $\sigma_H^2(X)$。
• 利用 NEP 通过分析对数似然与熵率之间的偏离，来界定固定码率信源编码中的错误概率。
• 通过求解 $\delta$ 使得错误概率 $\epsilon_n(\delta)$ 匹配给定的衰减速率，建立最小码率 $R_n(\epsilon_n)$ 的紧界。
• 引入函数 $r_X(\delta)$ 以建模码率-失真权衡，并利用其对给定错误概率下的最小码率边界进行优化。
• 分析多种错误衰减区间：常数、多项式 $n^{-\alpha}$、次多项式 $n^{-\alpha}/\sqrt{\ln n}$ 和次指数 $e^{-n^\alpha}$，为每种情况推导显式表达式。

实验结果

研究问题

• RQ1 如何通过 $-\frac{1}{n}\ln p(X_1^n)$ 的信息谱将渐近等分性原理（AEP）扩展至有限块长？
• RQ2 在 i.i.d. 源的固定码率信源编码中，码率与错误概率之间的精确非渐近权衡是什么？
• RQ3 当错误概率以 $n^{-\alpha}/\sqrt{\ln n}$ 的速度衰减且 $0 < \alpha < 1$ 时，最小码率如何随块长 $n$ 变化？
• RQ4 NEP 框架能否扩展至条件熵和互信息，以适用于非渐近信道编码？
• RQ5 当错误概率为常数或超过 0.5 时，最小码率的行为如何？这与渐近理论中的直觉是否矛盾？

主要发现

• 当错误概率为 $\Theta(n^{-\alpha}/\sqrt{\ln n})$ 时，最小固定码率是 $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$，其中 $\sigma_H^2(X)$ 为源的信息方差。
• 当错误概率以 $n^{-\alpha}$ 速度衰减且 $\alpha \geq 1$ 时，最小码率是 $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$，显示出对 $\alpha$ 的显著依赖性。
• 对于次指数错误衰减 $e^{-n^\alpha}$（$0 < \alpha < 1$），最小码率是 $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$，表明 $\sqrt{\ln n / n}$ 项主导了码率惩罚。
• 当错误概率为常数 $\epsilon > 0.5$ 时，对于有限 $n$，最小码率 $R_n(\epsilon_n)$ 可能严格小于 $H(X)$，这与渐近理论的直觉相矛盾。
• NEP 框架能够对所有衰减区间（包括次多项式与多项式）实现对速率-错误率权衡的完整表征，通过反 Q 函数和集中不等式推导出显式边界。
• 分析表明，码率表达式中的 $O(\ln n / n)$ 项是不可避免的，其来源于对数似然分布 Edgeworth 展开中的二阶校正项。