[论文解读] The Information Flow and Capacity of Channels with Noisy Feedback

Chong Li, Nicola Elia|arXiv (Cornell University)|Aug 13, 2011

Wireless Communication Security Techniques参考文献 34被引用 7

一句话总结

本文引入残差有向信息以量化具有噪声反馈信道中的有效信息流，证明了典型闭环编码器由于协调损失无法达到容量。本文基于残差有向信息建立了通用编码定理，并通过因果条件有向信息提供可计算的界，解决了通信系统中噪声反馈效用的长期悬而未决问题。

ABSTRACT

In this paper, we consider some long-standing problems in communication systems with access to noisy feedback. We introduce a new notion, the residual directed information, to capture the effective information flow (i.e. mutual information between the message and the channel outputs) in the forward channel. In light of this new concept, we investigate discrete memoryless channels (DMC) with noisy feedback and prove that the noisy feedback capacity is not achievable by using any typical closed-loop encoder (non-trivially taking feedback information to produce channel inputs). We then show that the residual directed information can be used to characterize the capacity of channels with noisy feedback. Finally, we provide computable bounds on the noisy feedback capacity, which are characterized by the causal conditional directed information.

研究动机与目标

• 为解决通信系统中噪声反馈的长期开放问题，特别是噪声反馈是否能提高可靠性或降低复杂度。
• 形式化在反馈存在噪声时前向信道中有效信息流的概念，此时反馈会破坏发送端与接收端的协调。
• 证明在典型噪声反馈下，标准闭环编码策略无法在离散无记忆信道（DMC）中达到容量，原因在于为恢复协调而必须牺牲速率。
• 基于残差有向信息，为噪声反馈信道建立通用信道编码定理，扩展先前关于完美反馈的研究。
• 通过因果条件有向信息推导出噪声反馈容量的可计算界，使动态规划方法可实现实际计算。

提出的方法

• 提出一种新的信息论度量——残差有向信息，以捕捉在噪声反馈系统中消息与信道输出之间的有效互信息。
• 通过将码字转换为码函数，将噪声反馈编码问题重新表述为具有优化输入分布的等效非反馈问题。
• 应用随机编码论证建立可实现界，其中误差概率通过残差有向信息和一个指数惩罚项进行有界。
• 推导出对偶定理，表明对所有输入分布取残差有向信息的上确界，即为可实现速率的上界。
• 引入因果条件有向信息作为残差有向信息的可计算代理，使基于动态规划的计算成为可能。
• 利用现有动态规划框架（如Tatikonda-Mitter）高效计算界，将其扩展至噪声反馈场景。

实验结果

研究问题

• RQ1 噪声反馈能否提高通信系统的误码指数或降低编码复杂度？
• RQ2 在离散无记忆信道中，使用反馈生成输入的典型闭环编码器是否能实现噪声反馈容量？
• RQ3 当反馈存在噪声且不可靠时，如何量化前向信道中的有效信息流？
• RQ4 对于具有噪声反馈的系统，信道容量的一般表征是什么？能否在实际中计算？
• RQ5 能否通过有向信息的推广，推导出噪声反馈容量的可计算界？

主要发现

• 在典型噪声反馈下，离散无记忆信道的容量无法被任何典型闭环编码器实现，原因在于为恢复协调而必须牺牲速率。
• 残差有向信息对前向信道中的有效信息流提供了精确表征，在噪声反馈场景中取代了传统有向信息。
• 通用噪声反馈信道编码定理表明，对所有输入分布取残差有向信息的上确界，即等于噪声反馈容量。
• 通过因果条件有向信息推导出噪声反馈容量的可计算上下界，该方法推广了标准有向信息。
• 这些界可通过动态规划方法计算，使特定信道中反馈容量的实际评估成为可能。
• 该框架解决了噪声反馈是否有益的根本性问题：它确实有益，但仅当通过残差有向信息进行恰当量化时。