[论文解读] Vector Quantized Semantic Communication System

Qifan Fu, Huiqiang Xie+3 more|arXiv (Cornell University)|Sep 23, 2022

Neural Networks and Applications被引用 6

一句话总结

本文提出VQ-DeepSC，一种基于深度学习的向量量化语义通信系统，用于图像传输，通过多尺度语义嵌入空间和对抗性训练，将图像特征压缩并传输为离散索引。该系统在BPG上表现出更优的鲁棒性，且在MS-SSIM性能上与DeepJSCC相当，展现出与数字通信系统的强兼容性。

ABSTRACT

Although analog semantic communication systems have received considerable attention in the literature, there is less work on digital semantic communication systems. In this paper, we develop a deep learning (DL)-enabled vector quantized (VQ) semantic communication system for image transmission, named VQ-DeepSC. Specifically, we propose a convolutional neural network (CNN)-based transceiver to extract multi-scale semantic features of images and introduce multi-scale semantic embedding spaces to perform semantic feature quantization, rendering the data compatible with digital communication systems. Furthermore, we employ adversarial training to improve the quality of received images by introducing a PatchGAN discriminator. Experimental results demonstrate that the proposed VQ-DeepSC is more robustness than BPG in digital communication systems and has comparable MS-SSIM performance to the DeepJSCC method.

研究动机与目标

• 为解决数字语义通信系统研究有限的问题，提出一种与数字传输兼容的基于深度学习的框架。
• 通过利用多尺度语义特征提取和向量量化，降低传输开销。
• 通过使用PatchGAN判别器的对抗性训练，提升图像重建质量。
• 通过在共享嵌入空间中将语义特征映射为离散索引，确保与数字通信系统的兼容性。
• 评估系统在信道变化下的鲁棒性，并与BPG和DeepJSCC等成熟编解码器进行性能比较。

提出的方法

• 采用U-Net架构的编码器-解码器从输入图像中提取多尺度语义特征。
• 通过发射端和接收端共享的语义嵌入空间，使用向量量化将提取的语义特征映射为离散索引。
• 使用四个多尺度嵌入空间，其维度分别为K₁=128、K₂=256、K₃=512和K₄=1024，以支持分层特征表示。
• 在对抗性训练中采用PatchGAN判别器，以提升重建图像的感知质量。
• 系统使用1×1卷积层进行特征压缩，并采用LDPC信道编码与自适应调制进行数字传输。
• 训练采用Adam优化器，设置特定的学习率和β值，并使用基于GAN的损失函数以提升图像保真度。

实验结果

研究问题

• RQ1 向量量化语义通信系统是否能在数字无线信道中实现优于传统编解码器（如BPG）的鲁棒性？
• RQ2 多尺度语义嵌入空间的使用如何影响图像重建质量和传输效率？
• RQ3 使用PatchGAN判别器的对抗性训练在多大程度上提升了重建图像的感知质量？
• RQ4 在不同SNR和信道条件下，VQ-DeepSC与最先进的DeepJSCC方法在MS-SSIM指标上的表现如何？
• RQ5 与BPG相比，VQ-DeepSC对LDPC码长和调制阶数的敏感性如何？

主要发现

• 在使用1/2码率LDPC和BPSK调制的AWGN信道中，VQ-DeepSC的悬崖点（cliff point）比BPG低约1 dB。
• 在Rician衰落信道中，当SNR > 5 dB时，VQ-DeepSC的MS-SSIM超过0.8，与DeepJSCC相当。
• 在相似压缩比下，VQ-DeepSC使用32-QAM在低SNR区域的MS-SSIM高于使用16-QAM的BPG。
• 与BPG相比，VQ-DeepSC3对LDPC码长的敏感性显著更低；当码长从20比特增加到64800比特时，BPG的性能增益约为8 dB。
• 通过调整编码速率和调制方式，VQ-DeepSC在某些SNR区域优于UNet-DeepJSCC，表现出更强的鲁棒性。
• 多尺度嵌入空间与对抗性训练的结合，实现了低传输开销下的高质量图像重建。