[论文解读] Semantic Communications: Principles and Challenges

Zhijin Qin, Xiaoming Tao+3 more|arXiv (Cornell University)|Dec 30, 2021

Big Data and Digital Economy被引用 267

一句话总结

本邀请论文综述了语义通信的原理、理论、系统设计与挑战，强调基于深度学习的解决方案，面向任务导向的数据传输，超越香农的符号为中心的范式。

ABSTRACT

Semantic communication, regarded as the breakthrough beyond the Shannon paradigm, aims at the successful transmission of semantic information conveyed by the source rather than the accurate reception of each single symbol or bit regardless of its meaning. This article provides an overview on semantic communications. After a brief review of Shannon information theory, we discuss semantic communications with theory, framework, and system design enabled by deep learning. Different from the symbol/bit error rate used for measuring conventional communication systems, performance metrics for semantic communications are also discussed. The article concludes with several open questions in semantic communications.

研究动机与目标

• 澄清传统通信与语义通信的区别，并为任务导向设计提供动机。
• 总结语义通信的信息理论与语义理论基础。
• 描述语义系统的组成、语义噪声及性能度量。
• 讨论面向多模态数据（文本、图像、音频）的DL驱动语义通信及实际架构。
• 突出语义通信领域的未解问题与研究方向。

提出的方法

• 回顾香农信息理论并引入语义信息、语义熵等语义理论概念。
• 给出语义信道模型与语义信道容量（定理4），并通过示例说明语义编码取舍。
• 引入在语义语境下的率失真和信息瓶颈概念（方程式10–13）。
• 描述一个语义通信系统架构，包括语义层与传输层，以及类似OSI的语义模型。
• 将语义噪声分为语义歧义和对抗性语义噪声，并给出鲁棒设计考量。
• 讨论文本、图像与语音领域的性能度量，包括BLEU、句子相似性、感知度量以及基于深特征的度量。

实验结果

研究问题

• RQ1 语义通信与传统符号级通信有何区别，基本极限是什么？
• RQ2 如何对语义信息进行量化并用于设计高效的语义编码与传输策略？
• RQ3 针对文本、图像与语音模态，语义通信的适当性能度量有哪些？
• RQ4 深度学习如何使多模态数据的实用化DL驱动语义通信成为可能，仍存哪些未解挑战？

主要发现

• 语义信息关注任务相关内容而非精确符号重建，从而实现更少的数据传输。
• 引入了语义信道容量的概念，显示其依赖于语义编码策略和接收端解释（C_s）。
• 率失真与信息瓶颈框架被调整到语义情境中，以指导DL损失函数和权衡。
• 提出两层语义通信模型与类似OSI的架构，用于将语义处理与传统传输层对接。
• 将文本、图像和语音的语义度量（BLEU、句子相似性、感知损失、PESQ、STOI、FDSD、KDSD）作为面向任务的评估工具进行讨论。
• 本文概述在形式化语义理论以及实现鲁棒、可扩展的DL驱动语义系统方面的开放问题与挑战。