[论文解读] On the Iterative Decoding of High-Rate LDPC Codes With Applications in Compressed Sensing

Fan Zhang, Henry D. Pfister|arXiv (Cornell University)|Mar 12, 2009

Error Correcting Code Techniques参考文献 44被引用 34

一句话总结

本文分析了在二元擦除信道（BEC）和q元对称信道（q-SC）上高码率LDPC码的验证解码，推导出解码阈值和停顿集的缩放律。将这些结果扩展至压缩感知（CS），表明通过实值测量和验证解码，可利用O(p)量级的测量值以线性时间算法高概率地重建严格稀疏信号，实现恒定的过采样比。

ABSTRACT

This paper considers the performance of $(j,k)$-regular low-density parity-check (LDPC) codes with message-passing (MP) decoding algorithms in the high-rate regime. In particular, we derive the high-rate scaling law for MP decoding of LDPC codes on the binary erasure channel (BEC) and the $q$-ary symmetric channel ($q$-SC). For the BEC, the density evolution (DE) threshold of iterative decoding scales like $Θ(k^{-1})$ and the critical stopping ratio scales like $Θ(k^{-j/(j-2)})$. For the $q$-SC, the DE threshold of verification decoding depends on the details of the decoder and scales like $Θ(k^{-1})$ for one decoder. Using the fact that coding over large finite alphabets is very similar to coding over the real numbers, the analysis of verification decoding is also extended to the the compressed sensing (CS) of strictly-sparse signals. A DE based approach is used to analyze the CS systems with randomized-reconstruction guarantees. This leads to the result that strictly-sparse signals can be reconstructed efficiently with high-probability using a constant oversampling ratio (i.e., when the number of measurements scales linearly with the sparsity of the signal). A stopping-set based approach is also used to get stronger (e.g., uniform-in-probability) reconstruction guarantees.

研究动机与目标

• 分析高码率LDPC码在高码率区域中采用消息传递和验证解码的性能。
• 推导BEC和q-SC上解码阈值的缩放律，特别关注临界停顿比。
• 将分析扩展至压缩感知（CS），表明验证解码可实现严格稀疏信号的高效重建。
• 证明实值测量矩阵可在CS中实现恒定的过采样比，从而绕过传统的O(p log(n/p))下限。
• 提供基于密度演化和停顿集的重建保证，包括概率均匀性结果。

提出的方法

• 使用密度演化（DE）分析验证解码在BEC和q-SC上的阈值行为，表明在固定j时，DE阈值的缩放为Θ(k⁻¹)。
• 采用基于停顿集的方法推导概率均匀的重建保证，表明失败概率随n增大而趋于零。
• 采用缩放方法推导当稀疏度p趋近于零时稀疏度阈值的渐近表达式。
• 利用Stirling近似和熵函数界，对小停顿集的数量进行上界估计，证明其期望数量在极限下趋于零。
• 借助大有限域编码与实数域编码之间的类比，将LDPC解码结果扩展至实值测量矩阵的压缩感知。
• 将验证解码器视为列表消息传递的次优版本，从而在高信噪比区域将其作为信念传播的代理，合理化其使用。

实验结果

研究问题

• RQ1 在BEC上，(j,k)-正则LDPC码的消息传递解码的高码率缩放律是什么？
• RQ2 在固定j时，高码率LDPC码在BEC上的临界停顿比如何随k缩放？
• RQ3 验证解码在q-SC上的解码阈值行为如何？其与k的缩放关系如何？
• RQ4 LDPC码中的验证解码能否扩展至实值测量下的压缩感知，以实现高效重建？
• RQ5 当使用实值测量矩阵的验证解码时，CS中测量值的O(p log(n/p))下限是否仍然成立？

主要发现

• 在BEC上，迭代解码的密度演化阈值缩放为Θ(k⁻¹)（固定j时），临界停顿比缩放为Θ(k⁻ʲ⁄⁽ʲ⁻²⁾)。
• 在q-SC上，验证解码的一个解码器变体实现了Θ(k⁻¹)的DE阈值缩放，具体取决于解码器细节。
• 在压缩感知中，严格稀疏信号可利用O(p)量级的测量值和线性时间算法以高概率重建，实现恒定的过采样比。
• 对于具有无噪声测量的实值测量矩阵，O(p log(n/p))的测量下限不再适用，因为每条测量提供无限信息。
• 大小为o(n)的停顿集的期望数量在n → ∞时趋于零，证明在验证解码下失败概率趋于零。
• 对于任意A > 0，存在大小介于A ln n与δⱼ,ₖn之间的停顿集的概率随n → ∞趋于零，确认了概率均匀的重建保证。