[论文解读] New Formulas of Feedback Capacity for AGN Channels with Memory: A Time-Domain Sufficient Statistic Approach

Charalambos D. Charalambous, Christos K. Kourtellaris+1 more|arXiv (Cornell University)|Oct 13, 2020

Stability and Control of Uncertain Systems被引用 9

一句话总结

该论文通过引入时域充分统计量方法，解决了具有记忆的加性高斯噪声（AGN）信道反馈容量公式的长期模糊性。它利用两个广义矩阵差分黎卡提方程（DREs）推导出Cover和Pombra容量公式的新型序列表征，证明了当且仅当这些DREs的解收敛时，渐近反馈容量存在，并给出了稳定与不稳定噪声过程的显式条件。

ABSTRACT

In the recent paper [1] it is shown, via an application example, that the Cover and Pombra [2] "characterization of the $n-$block or transmission" feedback capacity formula, of additive Gaussian noise (AGN) channels, is the subject of much confusion in the literature, with redundant incorrect results. The main objective of this paper is to clarify the main points of confusion and remove any further ambiguity. The first part of the paper applies time-domain methods, to derive for a first time, equivalent sequential characterizations of the Cover and Pombra characterization of feedback capacity of AGN channels driven by nonstationary and nonergodic Gaussian noise. The optimal channel input processes of the new equivalent sequential characterizations are expressed as functionals of a sufficient statistic and a Gaussian orthogonal innovations process. From the new representations follows that the Cover and Pombra $n-$block capacity formula is expressed as a functional of two generalized matrix difference Riccati equations (DRE) of filtering theory of Gaussian systems, contrary to results that appeared in the literature. In the second part of the paper the existence of the asymptotic limit of the $n-$block feedback capacity formula is shown to be equivalent to the convergence properties of solutions of the two generalized DREs. Further, necessary and or sufficient conditions are identified for existence of the asymptotic limits, for stable and unstable Gaussian noise, when the optimal input distributions are time-invariant, but not necessarily stationary. The paper contains an in depth analysis, with examples, of the specific technical issues, which are overlooked in past literature [3-7], that studied the AGN channel of [2], for stationary noises.

研究动机与目标

• 澄清文献中关于具有记忆的AGN信道反馈容量的Cover和Pombra表征的持续困惑。
• 利用时域方法与充分统计量，推导反馈容量公式的新型序列表示。
• 建立渐近反馈容量存在性与两个广义矩阵差分黎卡提方程（DREs）解收敛性之间的等价关系。
• 识别在时不变但非平稳最优输入分布下渐近容量存在的必要与充分条件。
• 对先前研究平稳噪声模型时被忽视的技术问题进行严格分析。

提出的方法

• 利用时域滤波技术与充分统计量，推导出Cover和Pombra反馈容量的等价序列表征。
• 将最优输入过程表示为充分统计量与高斯正交创新过程的泛函。
• 将$n$-块反馈容量表示为滤波理论中两个广义矩阵差分黎卡提方程（DREs）的泛函。
• 利用广义卡尔曼滤波框架分析条件分布，并推导最优输入策略。
• 应用高斯分布的最大熵原理，证明条件输入分布为线性且条件高斯分布。
• 通过分析底层系统矩阵的可观测性、可检测性与可 stabilizability，建立DREs的收敛条件。

实验结果

研究问题

• RQ1 当噪声为非平稳且非遍历性时，具有记忆的AGN信道反馈容量的正确序列表征是什么？
• RQ2 如何利用时域充分统计量与广义DREs重述Cover和Pombra的$n$-块容量公式？
• RQ3 在稳定与不稳定高斯噪声过程中，渐近反馈容量存在的条件是什么？
• RQ4 为何先前关于平稳噪声模型的文献结果未能体现反馈容量公式的关键结构特性？
• RQ5 广义DREs的收敛特性与渐近反馈容量的存在性之间有何关系？

主要发现

• 反馈容量公式可等价地表示为两个广义矩阵差分黎卡提方程（DREs）的泛函，解决了文献中先前的模糊性。
• 证明最优输入过程是充分统计量与高斯正交创新过程的泛函，从而实现序列实现。
• 渐近反馈容量的存在性等价于两个广义DREs解的收敛性。
• 对于稳定噪声，当对$\{A^*, G B^{*,1/2}\}$可 stabilizability且$\{A,C\}$可检测时，渐近容量存在。
• 对于不稳定噪声，若DREs解收敛，则渐近容量存在，这在噪声参数满足特定谱条件时可保证。
• 本文识别并纠正了先前研究中因假设平稳性而存在的技术疏漏，表明时不变但非平稳输入分布对一般有效性是必要的。