[论文解读] Transformer-aided Wireless Image Transmission with Channel Feedback

Haotian Wu, Yulin Shao+3 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Data Compression TechniquesComputer Science被引用 3

一句话总结

本文提出 JSCCformer-f，一种基于 Transformer 的联合源信道编码框架，用于无线图像传输，通过利用接收端反馈迭代优化图像重建。通过使用融合语义图像特征与反馈所得信念状态的统一编码器，该方案在低复杂度和对反馈噪声的鲁棒性方面实现了最先进性能，在不同信噪比（SNR）和带宽条件下，优于基于分离的和先前的反馈辅助方法。

ABSTRACT

This paper presents a novel wireless image transmission paradigm that can exploit feedback from the receiver, called DeepJSCC-ViT-f. We consider a block feedback channel model, where the transmitter receives noiseless/noisy channel output feedback after each block. The proposed scheme employs a single encoder to facilitate transmission over multiple blocks, refining the receiver's estimation at each block. Specifically, the unified encoder of DeepJSCC-ViT-f can leverage the semantic information from the source image, and acquire channel state information and the decoder's current belief about the source image from the feedback signal to generate coded symbols at each block. Numerical experiments show that our DeepJSCC-ViT-f scheme achieves state-of-the-art transmission performance with robustness to noise in the feedback link. Additionally, DeepJSCC-ViT-f can adapt to the channel condition directly through feedback without the need for separate channel estimation. We further extend the scope of the DeepJSCC-ViT-f approach to include the broadcast channel, which enables the transmitter to generate broadcast codes in accordance with signal semantics and channel feedback from individual receivers.

研究动机与目标

• 解决现有反馈辅助深度 JSCC 方案在图像传输中复杂度高且不具适应性的问题。
• 通过引入反馈实现联合优化，克服在有限块长条件下分离源编码与信道编码的局限性。
• 设计一种统一且可扩展的编码器，利用语义信息与接收端反馈，迭代提升图像重建质量。
• 通过直接利用反馈引导传输，无需显式信道估计即可实现信道自适应。
• 将该框架推广至广播信道，支持针对不同信道条件的多个接收端的自适应传输。

提出的方法

• 采用单一统一编码器，在每个数据块中处理源图像和反馈信号（解码器当前信念）以生成编码符号。
• 使用视觉 Transformer（ViT）结合自注意力与交叉注意力机制，建模长距离依赖关系，并融合语义信息与反馈信息。
• 通过可学习融合模块将信道状态信息与来自反馈的接收端信念整合到编码器输入中。
• 采用加权均方误差（MSE）损失进行端到端训练，以在广播场景中平衡多个接收端的重建质量。
• 利用块反馈机制，即在每次传输块后，发射端接收无噪声/有噪声的信道输出反馈，以优化后续传输。
• 通过训练单一编码器生成针对多个接收端的定制化信号，将框架扩展至广播信道，基于各接收端的独立反馈与信道条件进行优化。

实验结果

研究问题

• RQ1 统一的基于 Transformer 的编码器是否能在反馈辅助图像传输中优于多阶段、独立的编码器-解码器架构？
• RQ2 在不依赖显式信道估计的前提下，反馈能在多大程度上提升重建质量？
• RQ3 与现有反馈辅助 JSCC 方法相比，该方案在反馈链路存在噪声时的性能表现如何？
• RQ4 该框架能否在保持性能与适应性的同时推广至多用户广播场景？
• RQ5 通过注意力机制融合语义信息与接收端信念，是否能实现优于传统基于特征方法的重建效果？

主要发现

• JSCCformer-f 在所有测试的信噪比（SNR）和带宽比值下均实现了最先进 PSNR 性能，显著优于 DeepJSCC-f 和基于分离的方案。
• 在广播场景中，该方案使每个接收端的重建质量提升至少 3 dB，优于 BPG-Capacity 基准。
• 在广播信道评估中，所有 SNR 对的平均 PSNR 提升均达到至少 0.9 dB，证明了其性能的持续优越性。
• 该框架对反馈噪声具有强鲁棒性，在反馈链路无需额外错误保护的情况下仍能保持高性能。
• 统一编码器设计相比为每个反馈块分别训练编码器，显著降低了训练与内存复杂度。
• 该系统无需独立的信道估计模块，仅依靠反馈即可有效适应不同信道条件，实现自适应传输。