[论文解读] Non-Asymptotic and Second-Order Achievability Bounds for Coding With Side-Information

Shun Watanabe, Shigeaki Kuzuoka+1 more|arXiv (Cornell University)|Jan 28, 2013

Wireless Communication Security Techniques参考文献 49被引用 11

一句话总结

本文利用信道可分解性与信道仿真技术，为三个经典的辅助信息问题——Wyner-Ahlswede-Körner、Wyner-Ziv 和 Gel'fand-Pinsker——提出了新的非渐近可实现性界。这些界优于所有先前的有限块长结果，并能实现更紧致的第二阶编码速率近似，在数值评估中显著优于现有方法。

ABSTRACT

We present novel non-asymptotic or finite blocklength achievability bounds for three side-information problems in network information theory. These include (i) the Wyner-Ahlswede-Korner (WAK) problem of almost-lossless source coding with rate-limited side-information, (ii) the Wyner-Ziv (WZ) problem of lossy source coding with side-information at the decoder and (iii) the Gel'fand-Pinsker (GP) problem of channel coding with noncausal state information available at the encoder. The bounds are proved using ideas from channel simulation and channel resolvability. Our bounds for all three problems improve on all previous non-asymptotic bounds on the error probability of the WAK, WZ and GP problems--in particular those derived by Verdu. Using our novel non-asymptotic bounds, we recover the general formulas for the optimal rates of these side-information problems. Finally, we also present achievable second-order coding rates by applying the multidimensional Berry-Esseen theorem to our new non-asymptotic bounds. Numerical results show that the second-order coding rates obtained using our non-asymptotic achievability bounds are superior to those obtained using existing finite blocklength bounds.

研究动机与目标

• 推导网络信息论中三个基本辅助信息问题的更紧致非渐近可实现性界。
• 改进 Wyner-Ahlswede-Körner、Wyner-Ziv 和 Gel'fand-Pinsker 问题的现有有限块长误码率界。
• 从新的非渐近界中恢复已知的渐近速率区域。
• 利用多维 Berry-Esséen 定理推导可实现的第二阶编码速率。
• 通过数值方法证明，所提界在第二阶编码速率方面优于现有方法。

提出的方法

• 作者采用信道可分解性与信道仿真技术，构建新颖的可实现性证明，取代传统的覆盖与打包引理。
• 在 WAK 问题中使用虚拟信道模型以模拟辅助节点的行为，从而更精确地控制误码率。
• 通过有界支撑的随机构造辅助随机变量，利用基数界以保持关键的统计矩。
• 将多维 Berry-Esséen 定理应用于非渐近界，以推导第二阶编码速率近似。
• 通过保持充分统计量的矩、协方差及边缘分布，推导基数界。
• 通过将各问题的编码方案嵌入基于可分解性的统一框架，使该方法可推广至所有三个问题。

实验结果

研究问题

• RQ1 能否利用可分解性与仿真技术改进辅助信息问题的非渐近可实现性界？
• RQ2 新界是否在第二阶编码速率近似上优于现有有限块长界？
• RQ3 能否从新的非渐近界中恢复 WAK、WZ 和 GP 问题的已知渐近速率区域？
• RQ4 使用多维 Berry-Esséen 定理对第二阶编码速率精度有何影响？
• RQ5 在误码率与第二阶速率方面，所提界与先前有限块长界相比在数值上表现如何？

主要发现

• 所提 WAK、WZ 和 GP 问题的非渐近界严格优于所有先前的有限块长界，包括 Verdú 的结果。
• 界成功恢复了三个问题的已知渐近速率区域，证实了其正确性与紧致性。
• 由新界导出的第二阶编码速率在数值上优于现有有限块长界，尤其在中等块长范围内表现更优。
• WAK 问题中辅助随机变量的基数被限制为 |Y| + 4，GP 问题中为 |S||X| + 6，确保优化过程可处理。
• 利用信道可分解性与仿真技术，建立统一的证明框架，避免依赖马尔可夫引理及其非渐近版本。
• 通过在辅助变量构造中保持高阶矩与协方差，实现了更优的误码率界。