[论文解读] Performance versus Complexity Per Iteration for Low-Density Parity-Check Codes: An Information-Theoretic Approach

Igal Sason, Gil Wiechman|ArXiv.org|Dec 18, 2005

Error Correcting Code Techniques参考文献 22被引用 3

一句话总结

本文提出了一种信息论框架，用于分析低密度奇偶校验（LDPC）码在每次迭代中译码复杂度与性能（距容量的差距）之间的权衡。通过将边界推广至并行信道并改进先前结果，该研究量化了消息传递迭代译码相对于最大似然译码的次优性，表明在打孔码中，超过1/3的距容量差距源于码结构，而非译码次优性。

ABSTRACT

The paper is focused on the tradeoff between performance and decoding complexity per iteration for LDPC codes in terms of their gap (in rate) to capacity. The study of this tradeoff is done via information-theoretic bounds which also enable to get an indication on the sub-optimality of message-passing iterative decoding algorithms (as compared to optimal ML decoding). The bounds are generalized for parallel channels, and are applied to ensembles of punctured LDPC codes where both intentional and random puncturing are addressed. This work suggests an improvement in the tightness of some information-theoretic bounds which were previously derived by Burshtein et al. and by Sason and Urbanke.

研究动机与目标

• 量化LDPC码在每次迭代中译码复杂度与性能（距容量差距）之间的权衡。
• 分析由于次优的消息传递迭代译码相较于最大似然译码所导致的固有性能损失。
• 改进现有关于LDPC码校验密度与译码复杂度的信息论边界。
• 将这些边界扩展至在有意打孔和随机打孔下均适用的打孔LDPC码族。
• 评估码结构与迭代译码次优性对整体距容量差距的贡献。

提出的方法

• 推导在无记忆二进制输入输出对称（MBIOS）信道下LDPC码校验密度的信息论下界，并加以改进。
• 将边界推广至并行信道，以建模打孔LDPC码，从而支持对有意打孔和随机打孔的分析。
• 将边界应用于来自先前工作的度分布和打孔模式的打孔LDPC码族。
• 使用密度演化计算迭代译码的精确阈值，并与推导出的最大似然译码下界进行比较。
• 利用GEXIT曲线匹配条件支持关于复杂度随距容量差距变化的缩放行为的猜想。
• 相较于Burshtein等人和Sason与Urbanke的先前工作，尤其在二元删除信道（BEC）上实现边界改进。

实验结果

研究问题

• RQ1 LDPC码在达到给定容量分数时，所需的最小校验密度是多少，这与每次迭代的译码复杂度有何关系？
• RQ2 LDPC码中性能距容量的差距中有多少是由于码结构造成的，又有多少是由于消息传递迭代译码的次优性？
• RQ3 信息论边界对最大似然译码性能的估计与打孔LDPC码在迭代译码下的实际阈值相比如何？
• RQ4 这些边界能否推广至并行信道以建模打孔码？它们对复杂度-性能权衡提供了哪些洞见？
• RQ5 当距容量差距趋近于零时，每次信息比特的译码复杂度的缩放行为如何？打孔如何影响这一行为？

主要发现

• 对于二元输入加性白高斯噪声（AWGN）信道上的有意打孔LDPC码族，即使在最优最大似然译码下，超过1/3的距容量差距也归因于码结构。
• 所提出的基于信息论的边界相较于Burshtein等人和Sason与Urbanke的先前工作，提供了更紧的校验密度下界。
• 边界表明，消息传递迭代译码的次优性虽然显著，但并非性能距容量差距的主要原因。
• 对于二元删除信道（BEC），改进后的边界仍保持对1/ε的对数形式，与编码和译码的有界复杂度一致。
• 分析证实，打孔对于在每次信息比特上实现有界复杂度下趋近容量至关重要，尤其是在LDPC码族中。
• 结果支持如下猜想：对于一般MBIOS信道，译码复杂度按1/ε ln(1/ε)缩放，而BEC是例外，因其具有消息可靠性特性。