[论文解读] TurboNet: A Model-driven DNN Decoder Based on Max-Log-MAP Algorithm for Turbo Code

Yunfeng He, Jing Zhang+2 more|arXiv (Cornell University)|May 25, 2019

Wireless Signal Modulation Classification参考文献 12被引用 4

一句话总结

TurboNet 提出了一种基于模型的深度神经网络（DNN）译码器，用于 Turbo 码，通过展开迭代的极大似然对数 MAP（max-log-MAP）算法，并将其组件参数化为可学习权重。通过重新定义的损失函数进行训练，TurboNet 在参数更少、计算复杂度更低的情况下，实现了优于传统 max-log-MAP 译码的误比特率（BER）性能，同时在多种信噪比（SNR）条件下表现出良好的泛化能力。

ABSTRACT

This paper presents TurboNet, a novel model-driven deep learning (DL) architecture for turbo decoding that combines DL with the traditional max-log-maximum a posteriori (MAP) algorithm. To design TurboNet, we unfold the original iterative structure for turbo decoding and replace each iteration by a deep neural network (DNN) decoding unit. In particular, the DNN decoding unit is obtained by parameterizing the max-log-MAP algorithm rather than replace the whole decoder with a black box fully connected DNN architecture. With the proposed architecture, the parameters can be efficiently learned from training data, and thus TurboNet learns to appropriately use systematic and parity information to offer higher error correction capabilities and decrease computational complexity compared with existing methods. Furthermore, simulation results prove TurboNet's superiority in signal-to-noise ratio generalizations.

研究动机与目标

• 为解决数据驱动的深度学习译码器存在的高参数量和可解释性差的问题，后者由于黑箱架构导致问题。
• 克服为长码长 Turbo 码训练全连接 DNN 时存在的计算效率低下和高维性问题。
• 开发一种融合 max-log-MAP 算法领域知识的模型驱动 DNN 架构，以提升译码性能和泛化能力。
• 与现有的基于 RNN 或全连接 DNN 的译码器相比，减少参数数量和计算复杂度，同时保持或提升纠错能力。

提出的方法

• 将 Turbo 译码器的迭代结构展开为一系列独立的 DNN 译码单元，每个迭代对应一个单元。
• 通过在雅可比对数求和指数近似中的对数运算引入可学习权重，对 max-log-MAP 算法进行参数化。
• 用可微分的 DNN 层替代传统 max-log-MAP 计算，以学习 LLR 更新的最优缩放和补偿因子。
• 设计一种重新定义的损失函数，直接最小化预测 LLR 与使用固定迭代次数的 log-MAP 算法生成的目标 LLR 之间的差异。
• 使用随机梯度下降（SGD）和 ADAM 优化器进行训练，批量大小为 500，学习率为 1e-5。
• 使用单一训练 SNR（0 dB）和目标迭代次数（T=6）来生成 log-MAP LLR，以平衡学习鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 一种参数化 max-log-MAP 算法的模型驱动 DNN 架构是否能在 Turbo 码的 BER 性能上优于传统的 max-log-MAP 译码？
• RQ2 尽管在单一 SNR 条件下进行训练，所提出的 TurboNet 译码器是否能在不同 SNR 值下表现出良好的泛化能力？
• RQ3 TurboNet 是否能在保持或提升性能的同时，实现比数据驱动的 RNN 或全连接 DNN 译码器更低的计算复杂度和更少的参数数量？
• RQ4 译码单元的数量，以及训练 SNR 和目标迭代次数的选择，如何影响 DNN 译码器的泛化能力和纠错能力？

主要发现

• 在 (40,132) 和 (40,92) Turbo 码的所有 SNR 范围内，TurboNet 的误比特率（BER）均低于使用五次迭代的传统 max-log-MAP 算法。
• 对于 (40,132) 码，TurboNet 的性能优于使用五次迭代的 max-log-MAP 算法，并与使用三次迭代的 log-MAP 算法性能相当。
• 对于打孔的 (40,92) 码，TurboNet 的性能优于使用三次迭代的 max-log-MAP 算法，且 BER 性能与使用三次迭代的 log-MAP 算法相当。
• TurboNet 在不同 SNR 值下表现出良好的泛化能力，即使在测试 SNR 与训练 SNR（0 dB）不同时，仍保持优越性能。
• 该译码器仅包含 17.8K 个参数，远少于文献 [3] 中神经 BCJR 译码器的 3.85M 个参数，同时推理时间更快（1.39e-4s 对比 5.89e-3s）。
• 与使用五次迭代的 max-log-MAP 相比，TurboNet 显著降低了计算延迟，译码时间缩短至 1.39e-4s，而后者为 2.3e-4s。