[论文解读] The single-serving channel capacity

Renato Renner, Stefan Wolf+1 more|ArXiv.org|Aug 3, 2006

Wireless Communication Security Techniques参考文献 10被引用 5

一句话总结

本文使用光滑最小-和最大-熵代替香农熵，建立了单次使用信道容量——即在单次使用噪声信道中，错误概率不超过ε时可传输的最大比特数。关键结果是容量近似由输入的光滑最小-熵与给定输出的输入的光滑最大-熵之差的最小化给出，从而在非渐近、单次使用场景下，对超出独立同分布假设的通信容量提供了精确表征。

ABSTRACT

In this paper we provide the answer to the following question: Given a noisy channel and epsilon>0, how many bits can be transmitted with an error of at most epsilon by a single use of the channel?

研究动机与目标

• 解决香农熵在非渐近、单次使用通信场景中因独立同分布假设不成立而带来的局限性。
• 表征在单次使用中，错误概率不超过ε时，可在噪声信道上传输的最大比特数。
• 将香农熵替换为光滑最小-和最大-熵，作为单次使用通信容量的基本度量。
• 将信息论分析从渐近、独立同分布的设定扩展到现实的、有限资源的场景。

提出的方法

• 将光滑最小-和最大-熵定义为在总变差距离ε内的分布上对最小-和最大-熵进行优化后的版本。
• 使用条件光滑最小-熵 H^ε_min(X) 和光滑最大-熵 H^ε_max(X|Y) 来量化给定输出时输入的不确定性。
• 将单次使用信道容量公式化为 C^ε_comm(W) ≈ max_P_X [H^ε'_min(X) - H^ε''_max(X|Y)]，其中误差界包含 log(1/ε) 项。
• 通过概率论论证与马尔可夫不等式相结合，对编码构造中的错误概率进行容量边界推导。
• 证明使容量最大化的最优输入分布为在码书上均匀分布，该分布可最小化最大概率并最大化光滑最小-熵。
• 通过在平滑参数 ε', ε'' 和 ε₁, ε₂ 上进行优化，推导出容量的紧致上下界。

实验结果

研究问题

• RQ1 在单次使用中，错误概率不超过ε时，可在噪声信道上传输的最大比特数是多少？
• RQ2 光滑最小-和最大-熵如何替代香农熵来表征单次使用通信容量？
• RQ3 单次使用容量与独立同分布极限下的渐近信道容量之间有何关系？
• RQ4 能否使用带有显式误差依赖关系的光滑熵来界定单次使用容量？
• RQ5 输入分布的选择如何影响单次使用场景下的可实现速率？

主要发现

• 单次使用信道容量 C^ε_comm(W) 的下界为 max_P_X [H^ε'_min(X) - H^ε''_max(X|Y)] - log(4ε/(ε - ε' - ε'')²)，提供了紧致的下界。
• 容量的上界为 max_P_X [H^ε₂_min(X) - H^(ε₁+ε₂+2ε)_max(X|Y)] + log(1/ε₁)，建立了匹配的上界。
• 使容量最大化的最优输入分布为在码书上均匀分布，该分布可最大化光滑最小-熵并最小化错误概率。
• 当 ε → 0 且使用次数 → ∞ 时，容量表达式退化为渐近信道容量，恢复经典公式。
• 在单次使用场景中，光滑熵比香农熵提供了更精确的表征，尤其当对手或噪声可利用罕见事件时。
• 边界依赖于平滑参数 ε', ε'' 和 ε₁, ε₂，表明平滑过程中的误差容限会直接影响可实现速率。