[论文解读] On Extrinsic Information of Good Codes Operating Over Discrete Memoryless Channels

Michael Peleg, Amichai Sanderovich+1 more|ArXiv.org|Apr 7, 2005

Error Correcting Code Techniques参考文献 10被引用 6

一句话总结

本文证明，对于任意在离散无记忆信道（DMC）上的好码（容量达到码），当码率超过信道容量时，关于编码比特的外信息为零；否则为一个正常数。该结果表明，此类码在容量以上时表现如同未编码传输，导致经典容量达到码在迭代接收机架构（如Turbo均衡或串行级联）中失效，因为在这些架构中，解码必须在容量以上的码率下进行。

ABSTRACT

We show that the Extrinsic Information about the coded bits of any good (capacity achieving) code operating over a wide class of discrete memoryless channels (DMC) is zero when channel capacity is below the code rate and positive constant otherwise, that is, the Extrinsic Information Transfer (EXIT) chart is a step function of channel quality, for any capacity achieving code. It follows that, for a common class of iterative receivers where the error correcting decoder must operate at first iteration at rate above capacity (such as in turbo equalization, turbo channel estimation, parallel and serial concatenated coding and the like), classical good codes which achieve capacity over the DMC are not effective and should be replaced by different new ones. Another meaning of the results is that a good code operating at rate above channel capacity falls apart into its individual transmitted symbols in the sense that all the information about a coded transmitted symbol is contained in the corresponding received symbol and no information about it can be inferred from the other received symbols. The binary input additive white Gaussian noise channel is treated in part 1 of this report. Part 2 extends the results to the symmetric binary channel and to the binary erasure channel and provides an heuristic extension to wider class of channel models.

研究动机与目标

• 研究好码在离散无记忆信道（DMC）上运行时外信息的行为。
• 确定容量达到码是否能在需要在容量以上码率进行解码的迭代接收机架构中有效工作。
• 为经典好码在Turbo均衡和Turbo信道估计等系统中的局限性建立理论基础。
• 将BI-AWGN信道上的发现扩展到更广泛的DMC类别，包括二元对称信道和二元删除信道。

提出的方法

• 使用信息论原理分析容量达到码中外信息的渐近行为。
• 应用外信息转移（EXIT）图概念，表征编码比特与其外信息估计之间互信息的演化过程。
• 利用DMC的对称性和无记忆特性，推导不同码率下外信息的解析表达式。
• 通过启发式论证，将BI-AWGN信道上的结果扩展到对称二元输入信道和二元删除信道（BEC）。
• 证明当码率超过容量时，编码符号与其外信息估计之间的互信息坍缩为零，意味着无解码增益。
• 采用EXIT图的阶跃函数模型，表明外信息在容量阈值处从零到正数发生突变。

实验结果

研究问题

• RQ1 在离散无记忆信道（DMC）上，码率超过信道容量时，好码中外信息的行为如何？
• RQ2 对于容量达到码，外信息如何随信道质量变化？
• RQ3 经典好码是否能在需要在容量以上码率进行解码的迭代接收机中有效使用？
• RQ4 当外信息在容量以上为零时，其结构含义是什么——是否意味着码退化为独立符号？
• RQ5 BI-AWGN信道上的结果在多大程度上可推广到其他DMC，如二元对称信道和二元删除信道？

主要发现

• 对于任意在DMC上运行的好码，当码率超过信道容量时，关于编码比特的外信息为零。
• 当码率低于容量时，外信息为一个正常数，表明存在有效的解码增益。
• 此类码的EXIT图呈阶跃函数形式，其在容量阈值处发生急剧跃迁。
• 经典容量达到码在需要在容量以上码率进行解码的迭代接收机中（如Turbo均衡或串行级联编码）是无效的。
• 在容量以上，好码实际上解耦为独立的发送符号，无法从其他接收符号中推断出任一编码符号的信息。
• 结果在二元输入加性白高斯噪声（BI-AWGN）信道上已通过分析验证，并通过启发式方法推广至对称二元信道和二元删除信道。