[论文解读] Quantization of Binary-Input Discrete Memoryless Channels, with Applications to LDPC Decoding

Brian M. Kurkoski, Hideki Yagi|arXiv (Cornell University)|Jul 28, 2011

Error Correcting Code Techniques参考文献 20被引用 14

一句话总结

本文提出了一种针对二元输入离散无记忆信道的最优量化方法，通过使用时间复杂度为二次的动态规划算法最大化互信息。该方法应用于LDPC译码时，系统地设计了消息传递映射，仅使用每个消息4比特的精度即可实现与置信传播相近的噪声阈值，优于启发式量化译码方法。

ABSTRACT

Abstract—The quantization of the output of a binary-input discrete memoryless channel to a smaller number of levels is considered. The optimal quantizer, in the sense of maximizing mutual information between the channel input and the quantizer output, may be found by an algorithm with complexity which is quadratic in the number of channel outputs. This is a concave optimization problem, and results from the field of concave optimization are invoked. The quantizer design algorithm is a realization of a dynamic program. Then, this algorithm is applied to the design of message-passing decoders for low-density parity-check codes, over arbitrary discrete memoryless channels. A general, systematic method to find message-passing decoding maps which maximize mutual information at each iteration is given. This may contrasted with existing quantized message-passing algorithms which are heuristically derived. The method finds message-passing decoding maps similar to those given by Richardson and Urbanke’s Algorithm E. Using four bits per message, noise thresholds similar to belief-propagation decoding are obtained. Index Terms—discrete memoryless channel, channel quantiza-tion, mutual information maximization, LDPC decoding I.

研究动机与目标

• 开发一种针对二元输入离散无记忆信道的最优量化器，以最大化输入与量化输出之间的互信息。
• 解决在量化LDPC译码器中消息传递译码映射缺乏系统化设计方法的问题。
• 提供一种通用且基于原理的框架，用于推导在每次译码迭代中最大化互信息的消息传递映射。
• 在最小消息精度下实现接近置信传播的性能，特别是每个消息仅使用4比特。

提出的方法

• 量化器通过一种动态规划算法设计，该算法求解一个凹优化问题，确保在互信息最大化中实现全局最优。
• 该算法的时间复杂度相对于信道输出级别的数量为二次方，利用了凹优化理论的成果。
• 该方法将消息传递译码映射表述为在每次迭代中最大化互信息的量化消息，其推导基于最优量化器设计。
• 该方法从信息论原理出发，推广并系统化了现有启发式量化规则，例如Richardson和Urbanke的算法E中的规则。
• 该方法适用于任意离散无记忆信道，使得量化LDPC译码器的系统化设计成为可能。
• 该方法使得仅使用最小消息精度——特别是每个消息4比特——的译码器设计成为可能，同时保持高性能。

实验结果

研究问题

• RQ1 如何最优地量化二元输入离散无记忆信道的输出，以最大化输入与输出之间的互信息？
• RQ2 如何系统化地推导LDPC码的消息传递译码映射，以在每次迭代中最大化互信息？
• RQ3 基于原理的信息论方法是否能优于LDPC译码中的启发式量化规则？
• RQ4 达到接近全精度置信传播的噪声阈值，所需的最小消息精度（以比特计）是多少？
• RQ5 与Richardson和Urbanke的算法E相比，所提出的量化方法在性能和设计严谨性方面有何差异？

主要发现

• 所提出的量化算法在信道输出级别数量上具有二次时间复杂度，实现了最优的互信息最大化。
• 该方法产生的消息传递译码映射是基于信息论原理系统推导的，与启发式方法形成鲜明对比。
• 仅使用每个消息4比特，该方法即可实现与全精度置信传播译码几乎相同的噪声阈值。
• 动态规划公式确保了量化器设计的全局最优性，避免了启发式方法中常见的局部极小值问题。
• 该方法可推广至任意离散无记忆信道，使得量化LDPC译码器的系统化设计成为可能。
• 结果表明，互信息最大化可导出与Richardson和Urbanke的算法E中极为相似的译码映射，验证了该方法的有效性。