[论文解读] Statistical Mechanics and error-correction Codes

Nicolas Sourlas|ArXiv.org|Nov 29, 1998

Model Reduction and Neural Networks参考文献 1被引用 4

一句话总结

本文建立了纠错码与统计力学中自旋玻璃模型之间的深层理论等价性。它表明，最小误码概率译码对应于自旋系统基态的寻找，而维特比译码则映射为转移矩阵法；关键结果是，一个精确可解的自旋玻璃模型对应于一种理想码，可在容量以下的速率下实现无误码通信。

ABSTRACT

I will show that there is a deep relation between error-correction codes and certain mathematical models of spin glasses. In particular minimum error probability decoding is equivalent to finding the ground state of the corresponding spin system. The most probable value of a symbol is related to the magnetization at a different temperature. Convolutional codes correspond to one-dimensional spin systems and Viterbi's decoding algorithm to the transfer matrix algorithm of Statistical Mechanics. A particular spin-glass model, which is exactly soluble, corresponds to an ideal code, i.e. a code which allows error-free communication if the rate is below channel capacity.

研究动机与目标

• 建立编码理论与统计力学之间的理论桥梁。
• 证明编码理论中的最小误码概率译码在数学上等价于相应自旋玻璃系统的基态寻找。
• 证明卷积码的维特比译码算法与统计力学中一维自旋系统所用的转移矩阵法相对应。
• 识别出一个特定的自旋玻璃模型，其对应于一种理想码，可在容量以下的速率下实现无误码通信。
• 探讨这种对偶性对理解可靠通信基本极限的启示。

提出的方法

• 将二元纠错码映射为伊辛自旋系统，其中码字对应于自旋构型。
• 为自旋系统定义一个哈密顿量，使其基态对应于在最小误码概率译码下最可能的发送码字。
• 使用统计力学中的转移矩阵法来实现卷积码的维特比译码算法。
• 分析一个特定的、精确可解的自旋玻璃模型（例如，夏里顿-柯克帕特里克模型或类似模型），以识别其与理想码的对应关系。
• 应用有限温度下的磁化概念，以推断译码中的最可能符号值。
• 利用自旋模型的精确可解性，推导出一种可实现容量且误码率为零的码的存在性。

实验结果

研究问题

• RQ1 纠错码的译码过程能否被正式映射为自旋玻璃系统的基态计算？
• RQ2 卷积码的维特比译码算法在多大程度上与统计力学中的既定方法（如转移矩阵法）相对应？
• RQ3 是否存在一个特定的自旋玻璃模型，其基态结构对应于一种理想码，可在容量以下的速率下实现无误码通信？
• RQ4 统计力学中有限温度下的磁化概念如何与编码理论中的符号级译码相关联？
• RQ5 这种对偶性对理解噪声信道中可靠通信的理论极限有何启示？

主要发现

• 编码理论中的最小误码概率译码在数学上等价于相应自旋玻璃系统的基态寻找。
• 卷积码的维特比译码算法与一维统计力学模型中使用的转移矩阵法同构。
• 一个特定的、精确可解的自旋玻璃模型对应于一种理想码，可在码率低于信道容量时实现无误码通信。
• 发送符号的最可能取值对应于特定有效温度下自旋系统的磁化。
• 这种对偶性为分析和构造最优纠错码提供了新的统计力学框架。
• 一个可精确求解的模型与理想码相对应，证实了在零误码概率下实现容量逼近性能的理论可能性。