[论文解读] Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

DNA and Biological Computing被引用 5

一句话总结

本文提出了针对马尔可夫链上信源编码、随机数生成和信道编码的高效可计算的非渐近界，且其复杂度与分块长度无关。在大偏差和中等偏差区域，该方法建立了渐近紧致性，并推导出第二阶发散方差的单字母表达式。

ABSTRACT

In this paper, we derive non-asymptotic achievability and converse bounds on the source coding with/without side-information, the random number generation with/without side-information, and the channel coding for the regular channel. Our bounds are efficiently computable in the sense that the computational complexity does not depend on the block length. We also characterize the asymptotic behaviors of the large deviation regime and the moderate deviation regime by using our bounds, which implies that our bounds are asymptotically tight in those regimes. We also show the second order rates of those problems, and derive single letter forms of the variances characterizing the second order rates.

研究动机与目标

• 开发针对马尔可夫链上信息处理任务的非渐近可达性与 converse 界。
• 通过使界与分块长度无关，确保计算效率。
• 表征大偏差与中等偏差区域中的渐近行为。
• 推导信源编码、随机数生成与信道编码的第二阶速率。

提出的方法

• 利用专为马尔可夫链模型设计的信息论技术，推导非渐近界。
• 应用一种新颖的分析框架，确保计算复杂度与分块长度无关。
• 利用这些界分析大偏差与中等偏差区域。
• 通过严格的极限分析，建立这些区域中界值的渐近紧致性。
• 推导用于表征第二阶速率的方差的单字母形式。
• 将该框架应用于带/不带辅助信息的信源编码、随机数生成与常规信道编码。

实验结果

研究问题

• RQ1 如何使马尔可夫链上信息处理的非渐近界在与分块长度无关的前提下高效可计算？
• RQ2 所推导的界在大偏差与中等偏差区域中以何种方式实现渐近紧致性？
• RQ3 马尔可夫链上的信源编码、随机数生成与信道编码的第二阶速率是什么？
• RQ4 决定第二阶速率的方差能否以单字母形式表达？
• RQ5 辅助信息条件如何影响界值的结构与紧致性？

主要发现

• 所提出的界高效可计算，且其复杂度与分块长度无关。
• 在大偏差与中等偏差区域中，界值均具有渐近紧致性。
• 信源编码、随机数生成与信道编码的第二阶速率通过单字母方差表达式得以表征。
• 第二阶渐近分析中的方差项以单字母形式推导得出，从而实现可计算性。
• 该框架可统一应用于带与不带辅助信息的问题。
• 本研究为马尔可夫信息处理中的非渐近与渐近分析建立了统一的分析基础。