[论文解读] The Capacity of Channels with Feedback

Sekhar Tatikonda, Sanjoy K. Mitter|ArXiv.org|Sep 25, 2006

Wireless Communication Security Techniques参考文献 25被引用 6

一句话总结

本文通过引入基于定向信息和充分统计量的动态规划公式，建立了一个分析具有反馈的离散无记忆信道和马尔可夫信道容量的一般框架。该文利用码函数证明了反馈信道的编码定理，通过平均成本最优方程（ACOE）得出了单字母表征，并确定了反馈增加容量的条件，特别是在存在符号间干扰（ISI）的马尔可夫信道中。主要贡献在于提出了一种统一的信息论方法来处理反馈容量，该方法涵盖了先前的结果，并可通过马尔可夫决策过程（MDP）技术实现计算。

ABSTRACT

We introduce a general framework for treating channels with memory and feedback. First, we generalize Massey's concept of directed information and use it to characterize the feedback capacity of general channels. Second, we present coding results for Markov channels. This requires determining appropriate sufficient statistics at the encoder and decoder. Third, a dynamic programming framework for computing the capacity of Markov channels is presented. Fourth, it is shown that the average cost optimality equation (ACOE) can be viewed as an implicit single-letter characterization of the capacity. Fifth, scenarios with simple sufficient statistics are described.

研究动机与目标

• 开发一个通用的信息论框架，用于表征具有记忆和反馈的信道的容量。
• 将马塞的定向信息概念推广，以表征一般信道中的反馈容量。
• 为具有反馈的马尔可夫信道识别编码器和解码器处的充分统计量，从而实现可处理的编码与容量计算。
• 将反馈容量问题表述为部分可观测马尔可夫决策过程（POMDP），进而获得动态规划解法。
• 证明平均成本最优方程（ACOE）可提供反馈容量的隐式单字母表征。

提出的方法

• 将定向信息推广，以表征具有记忆和反馈的信道的反馈容量。
• 将反馈编码重新表述为基于码函数的问题，并通过定向信息将码函数分布与信道输入分布关联起来。
• 为马尔可夫信道引入编码器处的充分统计量 {Πt} 和解码器处的 {Γt}，其由过去的输入和输出推导得出。
• 提出一种马尔可夫决策过程（MDP）公式，其中状态为充分统计量，从而实现容量计算的动态规划。
• 使用平均成本最优方程（ACOE）作为关键工具，隐式表征容量，同时给出信息稳定性的条件。
• 证明了代价函数和随机核的连续性与有界性，以确保MDP公式解的存在性。

实验结果

研究问题

• RQ1 如何将定向信息推广，以表征任意具有记忆和反馈的信道的反馈容量？
• RQ2 对于具有反馈的马尔可夫信道，编码器和解码器处的适当充分统计量是什么？它们如何简化编码问题？
• RQ3 反馈容量问题能否被简化为马尔可夫决策过程（MDP）公式？若是，状态空间与充分统计量之间有何关系？
• RQ4 在何种条件下，平均成本最优方程（ACOE）可蕴含信息稳定性，从而表征反馈容量？
• RQ5 哪些类别的反馈信道具有简单的充分统计量？这些统计量如何导致单字母容量公式？

主要发现

• 一般信道的反馈容量由所有具有反馈的输入分布下定向信息 I(X^T → Y^T) 的上确界表征。
• 对于马尔可夫信道，编码器处的充分统计量 {Πt} 是给定过去输入和输出的信道状态的后验分布。
• 反馈容量问题可表述为POMDP，其最优控制策略对应于达到容量的编码策略。
• 平均成本最优方程（ACOE）提供了反馈容量的隐式单字母表征，其解蕴含信息稳定性。
• 在充分统计量较简单的情况下（例如，充分统计量仅依赖于输入或输出），容量可通过有限维MDP计算得出。
• MDP公式中的代价函数有界且连续，因此在标准条件下可确保ACOE解的存在性。