[论文解读] RNN Decoding of Linear Block Codes

Eliya Nachmani, Elad Marciano+2 more|arXiv (Cornell University)|Feb 24, 2017

Error Correcting Code Techniques参考文献 18被引用 40

一句话总结

本文提出一种用于线性分组码的循环神经网络（RNN）译码器，其性能与前馈神经网络译码器相当，但参数量显著减少。该RNN在高信噪比（SNR）区域相比置信传播（BP）算法将误比特率（BER）性能提升了最多1.5 dB，并在稀疏的Tanner图上实现性能提升，即使在环路减少的校验矩阵下，也能实现最多1.0 dB的增益。

ABSTRACT

Designing a practical, low complexity, close to optimal, channel decoder for powerful algebraic codes with short to moderate block length is an open research problem. Recently it has been shown that a feed-forward neural network architecture can improve on standard belief propagation decoding, despite the large example space. In this paper we introduce a recurrent neural network architecture for decoding linear block codes. Our method shows comparable bit error rate results compared to the feed-forward neural network with significantly less parameters. We also demonstrate improved performance over belief propagation on sparser Tanner graph representations of the codes. Furthermore, we demonstrate that the RNN decoder can be used to improve the performance or alternatively reduce the computational complexity of the mRRD algorithm for low complexity, close to optimal, decoding of short BCH codes.

研究动机与目标

• 解决设计短至中等长度线性分组码的低复杂度、近似最优译码器这一开放挑战。
• 克服在高密度校验（HDPC）码上置信传播（BP）算法因纠错性能差而存在的局限性。
• 在保持或提升性能的前提下，减少基于神经网络译码所需的参数数量，相比前馈结构。
• 探索RNN译码在更稀疏的Tanner图和环路减少的校验矩阵上的有效性。
• 将RNN译码器集成到mRRD算法中，以提升短BCH码的性能或降低计算复杂度。

提出的方法

• 将文献[11]中提出的前馈神经网络译码器架构改编为循环神经网络（RNN）结构，以建模迭代译码过程为序列操作。
• 使用训练过程中学习到的软Tanner图表示，其中RNN学习在多个译码迭代中逐步优化消息。
• 采用多损失目标函数进行RNN训练，展开长度为5，对应5次BP迭代，以模拟迭代译码行为。
• 将RNN译码器作为BCH(63,36)码中mRRD（改进型递归环路译码）算法标准BP组件的替代方案。
• 采用参数化RNN架构，以循环方式处理变量节点与校验节点之间的消息，模仿BP的消息传递动态。
• 在单个码字（如全零码字）上进行RNN训练，基于对称性假设，实现对所有码字的泛化能力。

实验结果

研究问题

• RQ1 RNN译码器是否能在显著减少参数数量的前提下，实现与前馈神经网络译码器相当的误比特率（BER）性能？
• RQ2 当应用于环路数量减少的稀疏校验矩阵时，RNN译码器是否能保持或提升性能？
• RQ3 RNN译码器是否能提升现有低复杂度译码算法（如mRRD）在短BCH码上的性能？
• RQ4 与标准BP相比，RNN译码器在保持或提升BER性能的同时，能在多大程度上降低计算复杂度？
• RQ5 即使在校验矩阵中环路已减少的情况下，基于RNN的软Tanner图学习是否仍能超越标准BP实现性能提升？

主要发现

• 在高信噪比（SNR）区域，RNN译码器相比置信传播（BP）算法最多可实现1.5 dB的BER性能增益，性能与文献[11]中更复杂的前馈神经网络译码器相当。
• 相比前馈结构，RNN架构显著减少了参数数量，从而实现了更低复杂度的译码。
• 在校验矩阵中环路已减少的情况下，RNN译码器相比标准BP最多可实现1.0 dB的性能增益，表明其对图稀疏性和环路结构减少具有鲁棒性。
• 对于BCH(63,36)码，将RNN译码器集成到mRRD算法中，相较于普通mRRD，m=1、3和5时分别实现了0.6 dB、0.3 dB和0.2 dB的性能增益。
• 尽管平均BP迭代次数增加了8%，mRRD-RNN译码器仍能通过使用更小的m值达到相同的误码率，从而实现计算复杂度的净降低。
• 训练后的RNN译码器生成的软Tanner图具有良好的泛化能力，即使在原始校验矩阵更稀疏且短环路更少的情况下，也能实现性能增益。