[论文解读] Towards Semantic Communications: A Paradigm Shift

Kai Niu, Jincheng Dai+5 more|arXiv (Cornell University)|Mar 13, 2022

Cognitive Computing and Networks被引用 8

一句话总结

本文提出了一种从经典技术级通信到语义级通信的范式转变，通过人工智能驱动的语义压缩与信道编码，实现以显著降低的数据速率进行可靠传输。通过使用神经网络建模语义内容，并基于柯尔莫哥洛夫复杂度推导语义压缩界，作者证明语义编码可接近每个词的理论最小比特数——达到约11比特/词——在相同可靠性约束下优于经典方法（如Huffman和gzip）。

ABSTRACT

The last seventy years have witnessed the transition of communication from Shannon's theoretical concept to current high-efficient practical systems. Classical communication systems address the capability-deficiency issue mainly by module-stacking and technique-densification with ever-increasing complexity. In such a traditional viewpoint, classical source coding only uses explicit probabilistic models to compress data, regardless of the meaning of transmitted source messages. Also, channel coded transmission does not identify the source content. In this sense, state-of-the-art communication systems work merely at the technical level as summarized by Weaver. Unlike the traditional system design philosophy, this article proposes a new route to boost the system capabilities towards intelligence-endogenous and primitive-concise communications. The communication paradigm upgrades to the semantic level, which is radically different since all the key techniques imply the use of meanings of transmitted data, thus deeply changing the design of the communication system. This paradigm shifting unveils a promising direction due to its ability to offer an identical quality of service with much lower data transmission requirement. Different from other similar works, this article constitutes a brief tutorial on the framework of semantic communications, its gain analyzed from the information theory perspective, a method to calculate the semantic compression bound, and an exemplary use case of semantic communications.

研究动机与目标

• 提出一种从香农技术级通信范式向语义级通信范式的转变，其核心在于理解语义而非仅符号。
• 从信息论角度分析收益，为语义通信建立理论基础。
• 利用柯尔莫哥洛夫复杂度推导语义压缩界，并通过基于神经网络的模型进行评估。
• 通过端到端优化的文本传输用例，证明语义通信的可行性和高效性。
• 识别通用误差界、多节点语义网络以及多模态通信中的开放挑战。

提出的方法

• 提出一种语义通信框架，其中源编码与信道编码基于语义含义联合优化，而非原始符号。
• 使用基于Transformer的神经网络学习文本的可变长度语义表示，实现约11比特/词的语义压缩。
• 基于柯尔莫哥洛夫复杂度推导语义压缩界，表示表示语义内容所需的理论最小比特数。
• 应用里德-所罗门码与LDPC信道编码，确保在AWGN信道上的可靠传输，且校验比特在固定比特预算下进行优化。
• 采用端到端率失真损失，并以词错误率（WER）为主要指标进行系统训练与评估。
• 在相同信道条件与可靠性要求下，与经典方案（Huffman、gzip、固定5比特编码）进行性能对比。

实验结果

研究问题

• RQ1 语义通信能否在远低于经典通信系统数据速率的前提下实现可靠传输？
• RQ2 表示语义内容所需比特数的理论下限是多少？当前模型能多接近该下限？
• RQ3 基于神经嵌入的语义压缩与经典信源编码相比，在比特效率与抗错能力方面表现如何？
• RQ4 在带宽与信噪比（SNR）受限条件下，语义感知信道编码对系统性能有何影响？
• RQ5 如何将语义通信扩展至多节点、多模态及大规模网络场景？

主要发现

• 语义压缩模型实现约11比特/词的压缩率，接近基于柯尔莫哥洛夫复杂度推导出的理论语义压缩界。
• 采用LDPC编码的语义通信系统迅速逼近语义压缩界，表明其在语义表征与传输方面具有高度效率。
• 在相同可靠性条件下，经典信源编码方案（如Huffman、gzip）每词所需编码比特数显著高于语义方法，通常翻倍或更多。
• 随着SNR提升，信道编码所需的校验比特数减少，导致每词总编码比特数下降，语义系统在逼近理论界方面表现出更快的收敛速度。
• 即使考虑信道编码开销，语义方法仍优于经典方案，展现出更高的频谱效率。
• 语义压缩界与实际实现之间的差距较小，表明当前神经网络模型能以极低冗余有效捕捉语义内容。