[论文解读] Simple Channel Coding Bounds

Ligong Wang, Roger Colbeck+1 more|arXiv (Cornell University)|Jan 7, 2009

Wireless Communication Security Techniques参考文献 11被引用 10

一句话总结

本文引入了用于单次使用和块长信道编码的新非渐近 converse 和可实现性界，使用了一种称为平滑 0-散度的新型量，它是 Rényi 散度在 0 阶的推广。这些界简洁、自包含，并在渐近下收敛到 Verdú 和 Han 的经典信道容量公式，建立了信道编码与 0 阶 Rényi 散度之间的直接联系。

ABSTRACT

New channel coding converse and achievability bounds are derived for a single use of an arbitrary channel. Both bounds are expressed using a quantity called the "smooth 0-divergence", which is a generalization of Renyi's divergence of order 0. The bounds are also studied in the limit of large block-lengths. In particular, they combine to give a general capacity formula which is equivalent to the one derived by Verdu and Han.

研究动机与目标

• 推导适用于任意信道（无需假设无记忆或信息稳定信道）的新的非渐近 converse 和可实现性界。
• 引入并形式化平滑 0-散度，作为 0 阶 Rényi 散度在信道编码理论中的推广。
• 证明这些界在渐近下合并后可导出与 Verdú 和 Han 所得容量公式等价的一般容量公式。
• 提供一个简洁、自包含的理论框架，将信道编码与 0 阶 Rényi 散度直接联系起来，增强概念理解。

提出的方法

• 将平滑 0-散度 $ D_0^\tau(P\|Q) $ 定义为在所有测试函数 $ \Phi $ 上的上确界，这些函数需在 $ P $ 下捕获至少 $ 1-\delta $ 的概率质量，并最小化 $ Q $-测度下的接受集。
• 证明 $ D_0^\delta $ 的数据处理定理，表明其在马尔可夫核作用下非递增，这对 converse 证明至关重要。
• 基于平滑 0-散度，构造一个使用随机编码和次优译码规则的可实现性界，该规则类比 Shannon 的联合典型性。
• 通过代数恒等变形并应用平滑 0-散度的数据处理定理，建立 converse 界。
• 通过将 $ \frac{1}{n} D_0^\delta(P_n\|Q_n) $ 与 $ \frac{dP_n}{dQ_n} $ 的下极限对数 Radon-Nikodym 导数关联，分析界在渐近下的行为，从而在 i.i.d. 情况下与 KL 散度建立联系。
• 利用大数定律证明，在 i.i.d. 情况下，渐近界收敛到 KL 散度 $ D(P\|Q) $，从而通过大数定律恢复 Shannon 的容量公式。

实验结果

研究问题

• RQ1 能否使用广义散度度量，为任意信道推导出简洁的非渐近 converse 界？
• RQ2 能否基于随机编码和基于平滑 0-散度的译码规则构造可实现性界？
• RQ3 这些界在大块长极限下行为如何？是否能恢复已知的容量公式？
• RQ4 信道编码与 0 阶 Rényi 散度之间存在何种理论联系？
• RQ5 平滑 0-散度能否作为非渐近信道编码界的一个统一工具，而无需依赖信道记忆或稳定性假设？

主要发现

• converse 界通过平滑 0-散度的数据处理定理推导得出，确保其对任意信道均成立，无需结构假设。
• 可实现性界基于随机编码和一种推广联合典型性的译码规则，且被证明简洁且自包含。
• 在渐近极限下，平滑 0-散度界收敛到 Verdú 和 Han 的经典信道容量公式，证实其渐近紧致性。
• 对于 i.i.d. 信道，渐近界收敛到 KL 散度 $ D(P\|Q) $，通过大数定律恢复 Shannon 的容量公式。
• 平滑 0-散度为信道编码与 0 阶 Rényi 散度之间提供了自然桥梁，将已知的 $ \alpha \geq \frac{1}{2} $ 的联系扩展至 $ \alpha = 0 $。
• 数值比较显示，新提出的可实现性界略逊于现有界（如 Gallager 的界），但差距较小，而其理论洞见具有重要意义。