[论文解读] Optimization of Image Transmission in a Cooperative Semantic Communication Networks

Wenjing Zhang, Yining Wang+3 more|arXiv (Cornell University)|Jan 1, 2023

Brain Tumor Detection and Classification被引用 4

一句话总结

本文提出了一种基于场景图表示图像语义的协作式语义通信框架，用于图像传输，并引入图像到图语义相似度（ISS）度量方法以评估性能。该框架构建了一个资源分配问题，旨在满足ISS约束下最小化传输时延，并提出了一种基于值分解的熵最大化多智能体强化学习（VD-ERL）算法，实现分布式协作的资源块（RB）分配，与基线方法相比，时延降低最高达16.1%，收敛速度提升100%。

ABSTRACT

In this paper, a semantic communication framework for image transmission is developed. In the investigated framework, a set of servers cooperatively transmit images to a set of users utilizing semantic communication techniques. To evaluate the performance of studied semantic communication system, a multimodal metric is proposed to measure the correlation between the extracted semantic information and the original image. To meet the ISS requirement of each user, each server must jointly determine the semantic information to be transmitted and the resource blocks (RBs) used for semantic information transmission. We formulate this problem as an optimization problem aiming to minimize each server's transmission latency while reaching the ISS requirement. To solve this problem, a value decomposition based entropy-maximized multi-agent reinforcement learning (RL) is proposed, which enables servers to coordinate for training and execute RB allocation in a distributed manner to approach to a globally optimal performance with less training iterations. Compared to traditional multi-agent RL, the proposed RL improves the valuable action exploration of servers and the probability of finding a globally optimal RB allocation policy based on local observation. Simulation results show that the proposed algorithm can reduce the transmission delay by up to 16.1% compared to traditional multi-agent RL.

研究动机与目标

• 开发一种协作式语义通信框架，利用语义信息而非原始数据实现高效图像传输。
• 设计一种多模态度量方法——图像到图语义相似度（ISS），用于评估传输语义信息与原始图像的保真度。
• 在多服务器干扰约束下，联合优化语义信息选择与资源块（RB）分配。
• 通过协作式分布式决策，解决多服务器、多用户无线网络中的同频干扰问题。
• 在动态无线语义通信环境中，相较于传统多智能体强化学习，提升收敛速度与时延性能。

提出的方法

• 将图像语义建模为由对象和关系组成的场景图，实现人类可理解的语义表示。
• 引入图像到图语义相似度（ISS）度量方法，量化原始图像与传输语义信息之间的相关性。
• 构建联合优化问题，以最小化平均传输时延，同时满足每个用户的ISS要求。
• 提出一种基于值分解的熵最大化多智能体强化学习（VD-ERL）算法，实现分布式协作的RB分配。
• 通过熵最大化增强探索能力，通过值分解实现在局部观测下实现全局策略协调。
• 采用集中训练、分散执行（CTDE）范式，在协调性与可扩展性之间取得平衡。

实验结果

研究问题

• RQ1 如何在适合无线传输的条件下，以人类可理解的形式有效表示图像语义？
• RQ2 何种度量方法能够准确评估传输图像信息相对于原始图像的语义保真度？
• RQ3 在干扰约束下，如何在多个协作服务器之间联合分配资源块，以最小化传输时延？
• RQ4 基于值分解与熵最大化的多智能体强化学习框架，是否能优于传统多智能体RL在协作式语义通信中的表现？
• RQ5 所提出的VD-ERL算法在协作式语义图像传输系统中，能在多大程度上提升收敛速度与时延降低效果？

主要发现

• 所提出的VD-ERL算法相比传统多智能体RL基线方法，平均传输时延最高降低16.1%。
• 与传统多智能体RL方法相比，该算法收敛速度最高提升100%。
• 图像到图语义相似度（ISS）度量方法能有效关联传输的语义信息与原始图像内容，通过传输更高分的语义三元组可获得更高的ISS值。
• 得分更高的语义三元组（如“woman holding racket”，得分：0.1351）优先传输，对语义保真度更为关键。
• VD-ERL算法实现了协作式RB分配，避免了多服务器为同一用户分配资源的冲突问题，而独立DQN基线方法则无法避免此类冲突。
• 仿真结果表明，随着传输语义三元组数量的增加，ISS值单调上升，验证了该度量方法的一致性与有效性。