[论文解读] Token Communications: A Large Model-Driven Framework for Cross-modal Context-aware Semantic Communications

Qiao Li, Mahdi Boloursaz Mashhadi+4 more|ArXiv.org|Feb 17, 2025

Semantic Web and Ontologies被引用 4

一句话总结

TokCom 提出一种基于令牌的生成式语义通信框架，利用跨模态上下文自基础模型和多模态大语言模型以提高效率并保持语义质量。

ABSTRACT

In this paper, we introduce token communications (TokCom), a large model-driven framework to leverage cross-modal context information in generative semantic communications (GenSC). TokCom is a new paradigm, motivated by the recent success of generative foundation models and multimodal large language models (GFM/MLLMs), where the communication units are tokens, enabling efficient transformer-based token processing at the transmitter and receiver. In this paper, we introduce the potential opportunities and challenges of leveraging context in GenSC, explore how to integrate GFM/MLLMs-based token processing into semantic communication systems to leverage cross-modal context effectively at affordable complexity, present the key principles for efficient TokCom at various layers in future wireless networks. In a typical image semantic communication setup, we demonstrate a significant improvement of the bandwidth efficiency, achieved by TokCom by leveraging the context information among tokens. Finally, the potential research directions are identified to facilitate adoption of TokCom in future wireless networks.

研究动机与目标

• 证明超越比特级可靠性、需要上下文感知语义通信的必要性。
• 提出一个基于令牌处理的 GenSC 框架（TokCom），可利用 GFM/MLLM 的令牌处理。
• 展示跨模态上下文如何提升语义压缩、信道编码和网络化性能。
• 在生成式图像通信的案例研究中展示鲁棒性与效率提升。

提出的方法

• 引入跨模态的令牌化与嵌入，形成共享的令牌词汇表。
• 将基于转换器的下一个/掩码令牌预测从 GFMs/MLLMs 集成到发射端/接收端流程中。
• 通过跨模态上下文的令牌似然估计定义基于令牌的损失/误差缓解。
• 呈现四种 TokCom 搭配：语义源压缩、语义信道编码、语义多址接入和语义网络协议。
• 提出一种使用带上下文信息的 MaskGIT 的跨模态 TokCom 方案，以预测丢失的令牌。
• 将 TokCom 的变体与传统方案进行对比，并测量语义/感知指标。

实验结果

研究问题

• RQ1 在 TokCom 的 GenSC 中，利用跨模态上下文带来哪些机会与挑战？
• RQ2 如何将 GFMs/MLLMs 的基于转换器的令牌处理整合到 SemCom 以利用跨模态上下文？
• RQ3 在未来无线网络层面，实现高效 TokCom 的关键设计原则是什么？
• RQ4 在利用跨模态上下文的生成式图像 SemCom 任务中，TokCom 的表现如何？
• RQ5 在 TokCom 部署中，计算、时延与语义质量之间的权衡是什么？

主要发现

• TokCom 可通过将语义编码为 GFMs/MLLMs 处理的离散令牌来实现超低速率的语义通信。
• 利用跨模态上下文的令牌级损失/误差缓解方案可以在减少重传的同时维持语义质量。
• 在生成式图像 SemCom 场景中，带跨模态信息的 TokCom 将带宽效率提升 70.8%，且语义/感知质量的损失可忽略。
• 使用 MaskGIT 为基础的分词器并结合额外上下文信息（CMI）的跨模态 TokCom 方案，其 CLIP 得分高于没有 CMI 的变体。
• 在中等到较差的信道条件下，TokCom 能维持语义/感知质量（CLIP、LPIPS），对 PSNR 的影响有限，显示鲁棒性。
• 该框架指出若干开放问题，呼吁实现端设备-边缘-云端的协同推理、高效分词器和安全性考虑。