[论文解读] Semantic Communications With AI Tasks

Yang Yang, Caili Guo+5 more|arXiv (Cornell University)|Sep 29, 2021

Big Data and Digital Economy参考文献 12被引用 28

一句话总结

本文提出 SC-AIT，一种语义通信框架，利用AI任务对要编码和传输的语义信息进行筛选，仅传输与任务相关的语义信息，在带宽显著降低的同时，在低信噪比下的图像分类准确率相较基于 JPEG 的传输提高超过 40%。

ABSTRACT

A radical paradigm shift of wireless networks from ``connected things'' to ``connected intelligence'' undergoes, which coincides with the Shanno and Weaver's envisions: Communications will transform from the technical level to the semantic level. This article proposes a semantic communication method with artificial intelligence tasks (SC-AIT). First, the architecture of SC-AIT is elaborated. Then, based on the proposed architecture, we implement SC-AIT for a image classifications task. A prototype of SC-AIT is also established for surface defect detection, is conducted. Experimental results show that SC-AIT has much lower bandwidth requirements, and can achieve more than $40\%$ classification accuracy gains compared with the communications at the technical level. Future trends and key challenges for semantic communications are also identified.

研究动机与目标

• 激励将传输从纯技术层面转向与 AI 任务目标对齐的语义感知通信。
• 定义一个将有效性、语义和技术层面与 AI 任务知识库（KB）集成的架构。
• 通过端到端的 CNN 基于图像分类和表面缺陷检测原型来演示 SC-AIT。
• 量化相对于传统 JPEG 与标准语义通信的带宽节省和任务性能提升。

提出的方法

• 引入一个具有效性、语义和技术层次的 SC-AIT 架构，以及一个共享/局部的KB，将 AI 任务与语义信息连接。
• 使用 CNN 特征图及其按类别梯度派生的重要性作为 KB，量化每个 AI 任务的语义信息相关性。
• 实现语义提取、编码和解码，保留仅与 AI 任务相关的语义信息，在 KB 指导下（语义编码器/解码器）。
• 在传统物理信道上通过标准信道编码与调制传输压缩后的语义信息。
• 在图像分类和表面缺陷检测任务上进行原型设计和评估，将 SC-AIT 与 JPEG 传输和常规语义通信（SC）进行比较。
• 在不同的 SNR 和压缩比下评估带宽（比特/像素）与端到端延迟（传输+处理）。

实验结果

研究问题

• RQ1 如何将 AI 任务整合入语义通信，以确定对任务性能至关重要的语义信息？
• RQ2 为实现 AI 任务驱动的通信，需要哪些将有效性、语义提取与技术传输连接的架构组件？
• RQ3 仅传输 AI-任务相关的语义信息时，带宽与准确性之间的权衡是什么？
• RQ4 在接近实际的原型中，SC-AIT 相对于基于 JPEG 的传输和标准语义通信的表现如何？
• RQ5 将信息语义及学习到的知识库形式化以实现鲁棒的 SC-AIT 部署存在哪些挑战？

主要发现

• 与 JPEG 传输相比，SC-AIT 在显著降低带宽的同时保持或提高任务准确率。
• 采用 98% 语义压缩（CR=98%）时，在 10 dB SNR 下相对于 JPEG 的准确率提升超过 40%。
• 当 CR=87% 时，SC-AIT 在不同 SNR 下保持接近常数的准确率，表明语义压缩高效。
• SC-AIT 与基线 SC 方法都达成远低于 JPEG 的比特/像素，在带宽受限时趋近于 1e-2 bpp 的性能。
• 由于较低的语义计算复杂度，SC-AIT 将总运行时间（传输+处理）降至约 JPEG 的 70%，在更高压缩下可进一步降低。
• 原型结果在表面缺陷检测（NEU 数据集）和图像分类任务上得到验证，证实 SC-AIT 的可行性。