[论文解读] Semantic Communications for Artificial Intelligence Generated Content (AIGC) Toward Effective Content Creation

Guangyuan Liu, Hongyang Du+6 more|arXiv (Cornell University)|Aug 9, 2023

Cognitive Computing and Networks被引用 4

一句话总结

本文提出了一种新颖的语义通信框架，将人工智能生成内容（AIGC）与语义通信（SemCom）相结合，在语义层之上引入内容生成层级，以实现高效、上下文感知的内容生成。通过使用AIGC作为编码器/解码器，并利用深度Q网络（DQN）优化资源分配，该框架在约50个训练周期内实现收敛，损失极低，证明了其在带宽和质量约束下对多样化AIGC工作负载的可行性与适应性。

ABSTRACT

Artificial Intelligence Generated Content (AIGC) Services have significant potential in digital content creation. The distinctive abilities of AIGC, such as content generation based on minimal input, hold huge potential, especially when integrating with semantic communication (SemCom). In this paper, a novel comprehensive conceptual model for the integration of AIGC and SemCom is developed. Particularly, a content generation level is introduced on top of the semantic level that provides a clear outline of how AIGC and SemCom interact with each other to produce meaningful and effective content. Moreover, a novel framework that employs AIGC technology is proposed as an encoder and decoder for semantic information, considering the joint optimization of semantic extraction and evaluation metrics tailored to AIGC services. The framework can adapt to different types of content generated, the required quality, and the semantic information utilized. By employing a Deep Q Network (DQN), a case study is presented that provides useful insights into the feasibility of the optimization problem and its convergence characteristics.

研究动机与目标

• 为解决AIGC中高效、上下文感知内容生成的挑战，通过整合语义通信（SemCom）以提升频谱效率、隐私保护与能效。
• 构建统一的概念模型，在语义层之上引入内容生成层级，明确AIGC与SemCom之间的交互机制。
• 设计面向AIGC服务的语义提取与评估指标联合优化框架，确保在不同内容类型与质量要求下的适应性。
• 通过强化学习（DQN）验证AIGC-SemCom系统中动态资源分配的可行性，并评估在不同缩放因子下的收敛性与性能表现。

提出的方法

• 提出一种新颖的概念模型，在语义层之上增加内容生成层级，以结构化AIGC-SemCom的交互关系。
• 将AIGC模型同时用作编码器与解码器，实现语义信息的端到端语义感知内容生成与重建。
• 引入联合优化框架，协调针对AIGC输出特异的语义提取与质量评估指标。
• 采用深度Q网络（DQN）求解动态资源分配问题，其奖励函数与图像生成损失成反比。
• 将资源分配建模为马尔可夫决策过程（MDP），其中状态包含输入分辨率与压缩级别，动作为分配策略。
• 采用基于原始图像与生成图像质量差异的损失函数，引导DQN最小化传输过程中的质量退化。

Figure 1: SemCom-enabled AIGC model, which is divided into physical level and semantic level for SemCom to support generation level and effective information creation level.

实验结果

研究问题

• RQ1 如何在概念上整合AIGC与语义通信，以实现高效、上下文感知的内容生成？
• RQ2 针对多样化AIGC服务，联合优化语义提取与评估指标的最佳方式是什么？
• RQ3 强化学习（DQN）能否有效解决AIGC-SemCom系统中的动态资源分配问题？
• RQ4 系统在不同输入条件（如图像分辨率与压缩级别）下的表现如何？
• RQ5 所提出的基于DQN的优化框架的收敛行为与性能权衡如何？

主要发现

• 基于DQN的优化框架在约50个训练周期后实现收敛，表明其能稳定、高效地学习最优资源分配策略。
• 即使在增加缩放因子的情况下，系统仍保持较低的图像生成损失，表明其在传输过程中对语义退化的鲁棒性。
• 奖励函数以损失为倒数建模，成功引导DQN优先分配能保持图像质量的资源。
• 该框架能有效管理四种不同AIGC服务的资源分配，证实其对多样化内容类型与需求的适应能力。
• AIGC与SemCom的集成显著提升了频谱效率、能效与隐私保护，同时不损害内容质量。
• 结果验证了所提出的AIGC-SemCom框架在动态、资源受限环境中的实际部署可行性。

Figure 2: AIGC model as generation encoder and decoder. In this AIGC framework, edge devices 1 and 2 represent users in a professional meeting. This step fuses their Semantic/prompt representation through Prompt engineering , guiding AI models to generate a unified modern meeting room theme in Gener