[论文解读] Turbo Autoencoder: Deep learning based channel codes for point-to-point communication channels

Yihan Jiang, Hyeji Kim+4 more|arXiv (Cornell University)|Nov 8, 2019

Wireless Signal Modulation Classification被引用 84

一句话总结

TurboAE 是一个端到端可学习的编码器–解码器系统，在标准 AWGN 信道的中等块长度下实现接近最先进的可靠性，并且在非标准信道上超过传统码。

ABSTRACT

Designing codes that combat the noise in a communication medium has remained a significant area of research in information theory as well as wireless communications. Asymptotically optimal channel codes have been developed by mathematicians for communicating under canonical models after over 60 years of research. On the other hand, in many non-canonical channel settings, optimal codes do not exist and the codes designed for canonical models are adapted via heuristics to these channels and are thus not guaranteed to be optimal. In this work, we make significant progress on this problem by designing a fully end-to-end jointly trained neural encoder and decoder, namely, Turbo Autoencoder (TurboAE), with the following contributions: ($a$) under moderate block lengths, TurboAE approaches state-of-the-art performance under canonical channels; ($b$) moreover, TurboAE outperforms the state-of-the-art codes under non-canonical settings in terms of reliability. TurboAE shows that the development of channel coding design can be automated via deep learning, with near-optimal performance.

研究动机与目标

• 推动使用端到端深度学习改进信道编码，而非手工设计的码。
• 设计一个具有涡轮（turbo）灵感的交错与迭代解码的神经编码器和解码器。
• 证明 TurboAE 在中等块长度的 AWGN 下对比容量逼近码的性能。
• 展示 TurboAE 在非 AWGN 信道上相较手工设计码的优势。

提出的方法

• 提出在涡轮码启发下的带交织的基于 CNN 的编码器和迭代的基于 CNN 的解码器的 TurboAE。
• 使用交错器和去交错器在码中创建长程记忆。
• 以交替优化和精心选取的训练 SNRs 端到端训练编码器和解码器。
• 引入 TurboAE-continuous（软功率约束）和 TurboAE-binary（硬功率约束）变体，包含归一化与用于二进制情况的 STE。
• 应用带功率约束的编码块以及类似批量归一化的策略以稳定训练。

实验结果

研究问题

• RQ1 端到端训练的神经编码器/解码器能否在中等块长度的 AWGN 信道上接近或超越最先进的信道编码吗？
• RQ2 在非标准信道模型下，带交错和迭代解码的神经码是否优于 CNN-AE 和传统码？
• RQ3 为实现稳定的 TurboAE 优化，需要哪些训练策略（交替训练、批量大小、噪声水平）？
• RQ4 软约束与硬约束对性能和训练动态有何影响？
• RQ5 当信道模型偏离独立同分布高斯噪声时，TurboAE 是否仍具备优势？

主要发现

• TurboAE 在标准 AWGN 信道的中等块长度（K ~ 100）接近最先进的性能。
• 在非标准信道下，经过微调后，TurboAE 在可靠性方面超过最先进的码。
• 交错显著提升块长度增益和 BER 性能，相较于 CNN-AE 和非交错变体。
• TurboAE-continuous 与 TurboAE-binary 在不同功率约束下提供有竞争力的性能，其中二进制版本需要预训练以确保稳定性。
• 基于 CNN 的 TurboAE 设计训练更快、比 RNN 基于的方法更稳定，便于可扩展的码学习。