[论文解读] Robust Semantic Communications Against Semantic Noise

Qiyu Hu, Guangyi Zhang+4 more|arXiv (Cornell University)|Feb 7, 2022

Wireless Signal Modulation Classification被引用 6

一句话总结

本文提出了一种对语义噪声具有鲁棒性的端到端语义通信系统——语义噪声指细微且难以察觉的扰动，可误导深度学习模型。通过结合对抗训练、掩码自编码器（MAE）以及通过VQ-VAE实现的共享离散码书，该系统将传输开销降低了99.05%，并在图像分类任务中显著提升了对语义噪声的鲁棒性。

ABSTRACT

Although the semantic communications have exhibited satisfactory performance in a large number of tasks, the impact of semantic noise and the robustness of the systems have not been well investigated. Semantic noise is a particular kind of noise in semantic communication systems, which refers to the misleading between the intended semantic symbols and received ones. In this paper, we first propose a framework for the robust end-to-end semantic communication systems to combat the semantic noise. Particularly, we analyze the causes of semantic noise and propose a practical method to generate it. To remove the effect of semantic noise, adversarial training is proposed to incorporate the samples with semantic noise in the training dataset. Then, the masked autoencoder (MAE) is designed as the architecture of a robust semantic communication system, where a portion of the input is masked. To further improve the robustness of semantic communication systems, we firstly employ the vector quantization-variational autoencoder (VQ-VAE) to design a discrete codebook shared by the transmitter and the receiver for encoded feature representation. Thus, the transmitter simply needs to transmit the indices of these features in the codebook. Simulation results show that our proposed method significantly improves the robustness of semantic communication systems against semantic noise with significant reduction on the transmission overhead.

研究动机与目标

• 解决基于深度学习的语义通信系统中语义噪声缺乏系统性研究的问题。
• 使用迭代快速梯度符号法（FGSM）在图像领域建模语义噪声，以生成对抗性扰动。
• 设计一种鲁棒性训练框架，通过带有权重扰动的对抗训练将语义噪声样本整合进训练分布。
• 设计一种低开销通信架构，结合掩码自编码与通过VQ-VAE实现的离散特征表示。
• 提升系统在语义噪声及不同无线信道条件（瑞利衰落、莱斯衰落、加性白高斯噪声AWGN）下的鲁棒性。

提出的方法

• 使用迭代快速梯度符号法（FGSM），K=5次迭代，ε=0.012的扰动强度，对语义噪声进行建模。
• 应用带有权重扰动的对抗训练，将噪声样本纳入训练分布，求解一个极小化-极大化优化问题。
• 设计一个包含14层Transformer编码器和12个注意力头的掩码自编码器（MAE），在训练过程中对50%的输入图像块进行掩码。
• 通过向量量化-变分自编码器（VQ-VAE）实现共享的离散码书，使系统可传输特征索引而非原始特征。
• 使用直通估计器训练VQ-VAE组件中不可微的向量量化操作。
• 端到端训练MAE模型，结合掩码重建损失与对抗损失，随后对下游任务（如图像分类）进行微调。

实验结果

研究问题

• RQ1 如何有效建模并生成基于图像的语义通信中的语义噪声，以支持鲁棒系统设计？
• RQ2 通过注入语义噪声进行对抗训练，在多大程度上能提升模型对扰动的鲁棒性？
• RQ3 结合离散码书的掩码自编码能否在保持或提升鲁棒性的同时降低传输开销？
• RQ4 在语义噪声下，该系统在不同无线信道模型（AWGN、瑞利衰落、莱斯衰落）中的泛化能力如何？
• RQ5 在语义噪声环境下，语义通信系统在鲁棒性、传输效率与性能之间存在何种权衡？

主要发现

• 所提出的带语义噪声的MAE（MAE+SN）在高语义噪声功率（ε=0.012）下，分类准确率显著高于ViT+SN与未采用对抗训练的MAE，表现更优。
• 传输开销降低至每幅图像196个符号，仅为传统JPEG+LDPC方案（20,432个符号）的0.95%，实现99.05%的降低。
• 在低信噪比条件（如-6 dB）下，由于特征索引传输具有鲁棒性，所提MAE模型仍能保持高分类准确率，优于传统方案。
• 该模型在AWGN、瑞利衰落与莱斯衰落信道中均表现出良好泛化能力，即使仅在AWGN信道下进行训练，也能保持一致的性能，展现出对信道变化的强大鲁棒性。
• 对抗训练、掩码机制与离散码书的结合带来了更优的鲁棒性：MAE+SN在所有信噪比与噪声功率水平下，均优于未使用对抗训练的MAE+SN与ViT+SN。