[论文解读] Statistical Mechanical Analysis of Low-Density Parity-Check Codes on General Markov Channel

Ryuhei Mori, Toshiyuki Tanaka|arXiv (Cornell University)|Oct 10, 2011

Error Correcting Code Techniques参考文献 21被引用 3

一句话总结

本文运用统计力学中的副本方法，分析一般马尔可夫信道与非对称记忆信道上的低密度奇偶校验（LDPC）码。推导出的鞍点方程与置信传播译码的密度演化方程完全一致，建立了统计物理与迭代译码阈值之间的严格联系。针对二元对称信道与二元删除信道的显式结果与已知界限一致。

ABSTRACT

Low-density parity-check (LDPC) codes on symmetric memoryless channels have been analyzed using statistical physics by several authors. In this paper, statistical mechanical analysis of LDPC codes is performed for asymmetric memoryless channels and general Markov channels. It is shown that the saddle point equations of the replica symmetric solution for a Markov channel is equivalent to the density evolution of the belief propagation on the factor graph representing LDPC codes on the Markov channel. The derivation uses the method of types for Markov chain.

研究动机与目标

• 将LDPC码的统计力学分析从对称记忆信道扩展至一般非对称与马尔可夫信道。
• 通过密度演化，建立副本方法与置信传播译码之间的严格联系。
• 利用马尔可夫链的类型法，推导出条件熵与译码阈值的解析表达式。
• 将副本方法的预测与已知界限及数值结果进行验证，特别是针对二元删除信道（BEC）与二元对称信道（BSC）的情况。

提出的方法

• 应用副本方法计算配分函数对数的 quenched 平均值，代表给定信道输出下码字的期望条件熵。
• 采用马尔可夫链的类型法处理信道中的记忆特性，推广了先前针对 i.i.d. 输入的结果。
• 推导副本对称解的鞍点方程，证明其在数学上等价于 Tanner 图上置信传播的密度演化方程。
• 采用洞穴法方法计算消息传递动力学，其中序参量定义于变量节点与校验节点的消息之上。
• 在消息分布上对副本对称自由能进行极值化，导出误差概率的一组自洽方程。
• 对规则LDPC集合进行数值求解，得到期望条件熵与译码阈值。

实验结果

研究问题

• RQ1 副本方法能否扩展至分析具有记忆与非对称性的通用马尔可夫信道上的LDPC码？
• RQ2 LDPC码在马尔可夫信道上的副本对称解是否与置信传播的密度演化方程等价？
• RQ3 在非对称与马尔可夫信道上，置信传播与最大后验概率（MAP）译码的阈值是什么？
• RQ4 在二元删除信道（BEC）上，不同规则LDPC码集合的BP与MAP阈值如何比较？
• RQ5 副本方法对速率一半码的预测是否与已知的分析界限（如香农极限）一致？

主要发现

• 从副本方法推导出的鞍点方程，与通用马尔可夫信道上LDPC码在Tanner图上的置信传播密度演化方程完全一致。
• 对于二元删除信道（BEC），副本方法预测 (3,6)-规则LDPC集合的BP阈值约为 0.56891，MAP阈值为 0.63865。
• (2,4)-规则LDPC集合的BP阈值高于 (3,6)-集合，这与在无记忆信道上的行为相反。
• 仅当条件熵为正时，表示译码成功；而某些区域出现负值，提示需选择平凡鞍点以保证熵非负。
• 结果证实，先前工作中MAP阈值的上界是紧致的，且副本方法的预测与速率一半码的已知香农极限一致。