[论文解读] SwinJSCC: Taming Swin Transformer for Deep Joint Source-Channel Coding

Ke Yang, Sixian Wang+4 more|arXiv (Cornell University)|Aug 18, 2023

Wireless Signal Modulation ClassificationComputer Science被引用 3

一句话总结

该论文提出SwinJSCC，一种基于Swin Transformer主干网络的深度联合源信道编码框架，其在图像重建质量方面优于基于CNN的JSCC模型，且端到端延迟更低。通过集成根据信道状态和传输速率自适应的空间调制模块，SwinJSCC在高分辨率图像场景下优于最先进的BPG + 5G LDPC系统，同时保持了快速的处理速度。

ABSTRACT

As one of the key techniques to realize semantic communications, end-to-end optimized neural joint source-channel coding (JSCC) has made great progress over the past few years. A general trend in many recent works pushing the model adaptability or the application diversity of neural JSCC is based on the convolutional neural network (CNN) backbone, whose model capacity is yet limited, inherently leading to inferior system coding gain against traditional coded transmission systems. In this paper, we establish a new neural JSCC backbone that can also adapt flexibly to diverse channel conditions and transmission rates within a single model, our open-source project aims to promote the research in this field. Specifically, we show that with elaborate design, neural JSCC codec built on the emerging Swin Transformer backbone achieves superior performance than conventional neural JSCC codecs built upon CNN, while also requiring lower end-to-end processing latency. Paired with two spatial modulation modules that scale latent representations based on the channel state information and target transmission rate, our baseline SwinJSCC can further upgrade to a versatile version, which increases its capability to adapt to diverse channel conditions and rate configurations. Extensive experimental results show that our SwinJSCC achieves better or comparable performance versus the state-of-the-art engineered BPG + 5G LDPC coded transmission system with much faster end-to-end coding speed, especially for high-resolution images, in which case traditional CNN-based JSCC yet falls behind due to its limited model capacity.

研究动机与目标

• 为解决基于CNN的深度JSCC模型容量有限的问题，尤其是在高分辨率图像场景下。
• 使单一神经网络JSCC模型能够灵活适应多样的信道条件和传输速率。
• 在不增加端到端处理延迟的前提下，提升系统编码增益，超越传统分离式系统。
• 开发一个通用且开源的框架，推动端到端优化语义通信领域的研究进展。

提出的方法

• 设计基于Swin Transformer的主干网络用于深度JSCC，利用其全局注意力机制捕捉图像块之间的长距离依赖关系。
• 引入两个空间调制模块，根据信道状态信息（CSI）和目标传输速率对潜在表征进行缩放。
• 采用端到端联合源信道优化目标进行模型训练，在带宽和信噪比（SNR）约束下最小化失真。
• 采用分层Swin Transformer架构，结合移位窗口自注意力机制，实现计算效率与表征能力的平衡。
• 引入可学习的自适应头模块，根据实时信道反馈和速率需求动态调整特征图。
• 同时优化率失真（RD）性能与低延迟推理能力，实现动态无线环境中实用化部署。

实验结果

研究问题

• RQ1 基于Swin Transformer的主干网络是否在图像重建质量与处理延迟方面优于基于CNN的JSCC？
• RQ2 单一深度JSCC模型在不降低性能的前提下，能否有效适应变化的信道条件和传输速率？
• RQ3 集成CSI与速率感知的空间调制模块对系统自适应能力与编码增益有何影响？
• RQ4 所提模型在高分辨率图像场景下是否实现优于或相当的传统工程化系统（如BPG + 5G LDPC）的性能？
• RQ5 性能饱和点出现在何种模型规模？该点如何影响模型的可扩展性与效率？

主要发现

• 由于特征表示能力的增强，SwinJSCC在高分辨率图像（如Kodak数据集）上的PSNR高于基于CNN的JSCC模型。
• 与BPG + LDPC方案相比，SwinJSCC将端到端处理延迟降低了超过20.57%，主要得益于消除了LDPC编码时间。
• SwinJSCC w/ SA&RA变体在不同SNR和CBR条件下均保持优异性能，在动态衰落信道中优于ADJSCC与BPG+LDPC。
• 消融实验表明，SwinJSCC B w/ SA&RA达到性能饱和点，进一步增加参数量不再带来显著增益。
• 与ADJSCC相比，SwinJSCC在参数量更大但FLOPs更少的情况下实现了更优的率失真权衡，表明其具有更高的效率。
• 在实际多径衰落信道中，SwinJSCC w/ SA&RA对SNR变化的适应速度更快，且PSNR稳定性优于BPG+LDPC，后者依赖于固定的QP和调制方案。