[论文解读] Task-Oriented Multi-User Semantic Communications for VQA Task

Huiqiang Xie, Zhijin Qin+1 more|arXiv (Cornell University)|Aug 16, 2021

Wireless Signal Modulation Classification被引用 7

一句话总结

本文提出MU-DeepSC，一种面向视觉问答（VQA）任务的多用户语义通信系统，通过深度神经网络联合优化语义编码器与信道编码器。通过利用图像与文本用户之间的多模态相关性（基于MAC网络），MU-DeepSC在低信噪比（SNR）和信道衰落条件下展现出显著更高的鲁棒性，图像传输符号数减少超过70%，同时保持高问答准确率。

ABSTRACT

Semantic communications focus on the transmission of semantic features. In this letter, we consider a task-oriented multi-user semantic communication system for multimodal data transmission. Particularly, partial users transmit images while the others transmit texts to inquiry the information about the images. To exploit the correlation among the multimodal data from multiple users, we propose a deep neural network enabled semantic communication system, named MU-DeepSC, to execute the visual question answering (VQA) task as an example. Specifically, the transceiver for MU-DeepSC is designed and optimized jointly to capture the features from the correlated multimodal data for task-oriented transmission. Simulation results demonstrate that the proposed MU-DeepSC is more robust to channel variations than the traditional communication systems, especially in the low signal-to-noise (SNR) regime.

研究动机与目标

• 解决在多用户无线系统中高效、鲁棒地传输多模态数据（图像与文本）以支持智能任务的挑战。
• 设计一种联合收发器，捕捉模态间的语义相关性，实现面向特定任务的通信。
• 相比传统的基于比特的通信系统，在低信噪比（SNR）和衰落信道中提升鲁棒性。
• 在保持高VQA准确率的同时，降低图像数据的传输开销与计算复杂度。
• 在自动驾驶零售等真实多模态、多用户场景中，验证语义通信的可行性与优越性。

提出的方法

• 设计了一种多用户语义通信框架MU-DeepSC，包含图像与文本的独立发射端，以及具备M根天线分集的接收端。
• 图像发射端采用冻结的ResNet-101主干网络（前30个模块）进行语义编码，随后通过基于CNN的信道编码器。
• 文本发射端采用学习型语义编码器与信道编码器，源编码使用Huffman编码，信道编码采用LDPC。
• 接收端采用记忆、注意力与组合（MAC）网络，融合双模态的语义特征，并直接生成VQA答案。
• 整个系统在深度学习框架中进行端到端联合训练，以优化VQA任务性能，而非误比特率。
• 训练在云端完成，部署至用户设备，实现语义编码与信道编码的端到端联合优化。

实验结果

研究问题

• RQ1 联合语义与信道编码框架是否能提升多用户、多模态通信在低SNR和衰落信道下的鲁棒性？
• RQ2 利用图像与文本之间的跨模态相关性，相较于单模态或传统通信系统，对VQA准确率有何影响？
• RQ3 语义通信在保持高任务性能的前提下，能在多大程度上减少图像数据的传输开销？
• RQ4 与采用16-QAM调制的传统信源-信道编码相比，所提出的MU-DeepSC系统在性能与复杂度方面表现如何？
• RQ5 在多模态VQA的语义通信中，传输效率与计算复杂度之间存在何种权衡？

主要发现

• MU-DeepSC在VQA准确率方面优于传统通信系统，尤其在低SNR环境下，SNR = 0 dB时性能差距最高达20%。
• 在AWGN、瑞利衰落与莱斯衰落信道下，MU-DeepSC在高SNR时达到接近理论最优的问答准确率。
• 通过MU-DeepSC传输图像，符号数从传统系统的41,718减少至12,544，降幅达70%。
• 图像传输的计算复杂度降低约4倍，从1.1×10⁹次乘法降至2.9×10⁸次乘法。
• 对于文本，MU-DeepSC传输128个符号（传统系统为15个），但计算复杂度相近，显著提升了恶劣信道下的鲁棒性。
• 可视化结果表明，在莱斯衰落信道下，MU-DeepSC能正确回答所有VQA问题，而传统系统与单模态系统在部分查询上失败。