[论文解读] On the Feedback Capacity of Stationary Gaussian Channels

Young-Han Kim|ArXiv.org|Sep 27, 2005

Target Tracking and Data Fusion in Sensor Networks参考文献 11被引用 10

一句话总结

本文建立了平稳高斯信道反馈容量的变分表征，证明最优反馈编码方案是平稳的。对于一阶自回归移动平均（ARMA）噪声，推导出反馈容量的闭式表达式，并证明Schalkwijk–Kailath编码方案可达到该容量，从而解决了信息论中长期悬而未决的开放问题。

ABSTRACT

The capacity of stationary additive Gaussian noise channels with feedback is characterized as the solution to a variational problem. Toward this end, it is proved that the optimal feedback coding scheme is stationary. When specialized to the first-order autoregressive moving-average noise spectrum, this variational characterization yields a closed-form expression for the feedback capacity. In particular, this result shows that the celebrated Schalkwijk--Kailath coding scheme achieves the feedback capacity for the first-order autoregressive moving-average Gaussian channel, resolving a long-standing open problem studied by Butman, Schalkwijk--Tiernan, Wolfowitz, Ozarow, Ordentlich, Yang--Kavcic--Tatikonda, and others.

研究动机与目标

• 将平稳高斯信道的反馈容量表征为一个变分问题。
• 解决长期存在的开放问题：Schalkwijk–Kailath编码方案是否可达到ARMA(1)高斯信道的容量。
• 通过变分表征建立平稳反馈编码方案的渐近最优性。
• 为一阶ARMA噪声下的反馈容量提供闭式表达式。
• 利用信息论论证确认Schalkwijk–Kailath–Butman编码方案在ARMA(1)信道中为最优。

提出的方法

• 利用功率谱密度 $ S_V(e^{i\theta}) $ 和严格因果滤波器 $ B(e^{i\theta}) $，推导反馈容量的变分表征，其中对 $ S_V $ 与 $ |B(e^{i\theta})|^2 S_Z(e^{i\theta}) $ 的和施加功率约束。
• 通过证明Cover–Pombra公式中极限与最大值可交换，证明最优反馈编码方案是平稳的。
• 将变分表征应用于一阶ARMA噪声谱 $ S_Z(e^{i\theta}) = 1/|1 + \beta e^{i\theta}|^2 $，$ |\beta| < 1 $。
• 采用基于高斯消息 $ V $ 的最小均方误差估计的线性编码方案，利用反馈进行递归更新。
• 证明该编码方案可实现速率 $ C_{\text{FB}} = -\log x_0 $，其中 $ x_0 $ 是方程 $ P x^2 = (1 - x^2)/(1 + |\beta|x)^2 $ 的唯一正实根。
• 通过渐近等分布性原理验证该方案，并利用互补误差函数证明误差概率呈双指数衰减。

实验结果

研究问题

• RQ1 能否通过变分问题以闭式表达平稳高斯信道的反馈容量？
• RQ2 Schalkwijk–Kailath编码方案在具有反馈的一阶ARMA高斯信道中是否最优？
• RQ3 平稳高斯信道的最优反馈编码方案是否表现出平稳结构？
• RQ4 ARMA(1)高斯信道的反馈容量是多少？能否以闭式表达？
• RQ5 能否严格证明Schalkwijk–Kailath–Butman方案的渐近性能可达到容量？

主要发现

• 平稳高斯信道的反馈容量被表征为在功率谱密度 $ S_V(e^{i\theta}) $ 和严格因果滤波器 $ B(e^{i\theta}) $ 上的变分问题的解，且满足功率约束。
• 对于一阶ARMA噪声谱 $ S_Z(e^{i\theta}) = 1/|1 + \beta e^{i\theta}|^2 $，反馈容量为 $ C_{\text{FB}} = -\log x_0 $，其中 $ x_0 $ 是方程 $ P x^2 = (1 - x^2)/(1 + |\beta|x)^2 $ 的唯一正实根。
• Schalkwijk–Kailath–Butman编码方案可达到该反馈容量，从而确认其在ARMA(1)信道中的最优性。
• 该方案的错误概率呈双指数衰减，其上界为 $ \mathop{\rm erfc}\nolimits\left(\sqrt{c_0 x^{-2n}/2^{2nR}}\right) $，其中 $ c_0 $ 为常数。
• 最优反馈编码方案是平稳的，且变分表征证明了在Cover–Pombra公式中极限与最大值可交换。
• 除非噪声为白噪声，否则反馈容量严格大于非反馈容量，从而确认反馈可提升有色噪声信道的容量。