[论文解读] Robust Semantic Communications with Masked VQ-VAE Enabled Codebook

Qiyu Hu, Guangyi Zhang+4 more|arXiv (Cornell University)|Jun 8, 2022

Wireless Signal Modulation Classification被引用 4

一句话总结

本文提出了一种鲁棒的端到端语义通信框架，通过结合对抗训练与权重扰动、噪声感知掩码的掩码VQ-VAE，以及特征重要性模块（FIM），以应对语义噪声——即在编码、传输或解码过程中产生的误解。该方法在多个下游任务中显著提升了鲁棒性，同时降低了传输开销，尤其在低信噪比（SNR）和语义噪声条件下表现突出。

ABSTRACT

Although semantic communications have exhibited satisfactory performance for a large number of tasks, the impact of semantic noise and the robustness of the systems have not been well investigated. Semantic noise refers to the misleading between the intended semantic symbols and received ones, thus cause the failure of tasks. In this paper, we first propose a framework for the robust end-to-end semantic communication systems to combat the semantic noise. In particular, we analyze sample-dependent and sample-independent semantic noise. To combat the semantic noise, the adversarial training with weight perturbation is developed to incorporate the samples with semantic noise in the training dataset. Then, we propose to mask a portion of the input, where the semantic noise appears frequently, and design the masked vector quantized-variational autoencoder (VQ-VAE) with the noise-related masking strategy. We use a discrete codebook shared by the transmitter and the receiver for encoded feature representation. To further improve the system robustness, we develop a feature importance module (FIM) to suppress the noise-related and task-unrelated features. Thus, the transmitter simply needs to transmit the indices of these important task-related features in the codebook. Simulation results show that the proposed method can be applied in many downstream tasks and significantly improve the robustness against semantic noise with remarkable reduction on the transmission overhead.

研究动机与目标

• 解决基于深度学习的语义通信系统中语义噪声缺乏系统性研究的问题。
• 对语义噪声进行建模与分类，划分为与样本相关的类型和与样本无关的类型，反映来自编码、信道或解码阶段的噪声。
• 开发一种鲁棒的语义通信框架，确保在语义噪声条件下，尤其是在低SNR或对抗性环境中的高性能表现。
• 通过仅传输离散码本中与任务相关特征的索引，减少传输开销。
• 通过特征重要性模块（FIM）动态抑制与噪声相关或与任务无关的特征，提升系统鲁棒性。

提出的方法

• 采用带有权重扰动的对抗训练，将含有语义噪声的样本引入训练数据集，提升模型泛化能力。
• 设计了一种带有与噪声相关掩码策略的掩码向量量化变分自编码器（VQ-VAE），可选择性地掩码语义噪声常发生的输入区域。
• 在发送端和接收端均使用共享的离散码本表示编码后的特征，实现基于索引的高效传输。
• 特征重要性模块（FIM）动态抑制对噪声敏感或与任务无关的特征激活，增强系统鲁棒性。
• 在损失函数中引入语义相似性正则化项，促进码本向量之间的正交性，提升表征能力。
• 系统端到端训练，以优化图像检索和重建等下游任务，性能在不同语义噪声水平和SNR条件下进行评估。

实验结果

研究问题

• RQ1 语义噪声——即意图语义与接收语义之间的错位——如何影响端到端语义通信系统的性能？
• RQ2 在语义通信中，与样本相关的语义噪声与与样本无关的语义噪声具有哪些显著特征？
• RQ3 带有权重扰动的对抗训练能否有效提升模型对语义噪声的鲁棒性？
• RQ4 VQ-VAE中的噪声感知掩码在多大程度上增强了系统对语义噪声的鲁棒性？
• RQ5 特征重要性模块（FIM）在抑制与噪声相关及与任务无关的特征方面有多有效，能否同时提升鲁棒性并减少传输开销？

主要发现

• 所提方法在白盒和黑盒语义噪声环境下均显著提升了鲁棒性，优于基于Transformer和ResNet的模型在对抗性设置下的表现。
• 特征重要性模块（FIM）有效增强了与任务相关的特征激活（如特征75–100），同时抑制了与噪声相关的特征（如特征125–200），减少了冗余激活。
• 损失函数中的语义相似性正则化项通过促进基向量之间的近似正交性，提升了码本质量，增强了表征效率。
• 当块大小为8时，系统在图像检索任务中实现了优异的召回率@1，尤其在低SNR条件下，即使在高语义噪声（ε=0.012）下也优于传统JPEG+LDPC方案。
• 与块大小16相比，块大小8的图像重建质量显著更优，在语义噪声下仍能保持高保真度，证明了低压缩、高鲁棒性设计的有效性。
• 通过仅传输重要特征的码本索引，系统显著降低了传输开销，实现了高效通信而不损失任务准确性。