[论文解读] Personalized Saliency in Task-Oriented Semantic Communications: Image Transmission and Performance Analysis

Jiawen Kang, Hongyang Du+5 more|arXiv (Cornell University)|Sep 25, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种面向无人机驱动图像传输的个性化、任务导向语义通信框架，采用基于三元组的场景图与用户兴趣感知的语义编码器，以提升能效与个性化水平。此外，还引入了一种基于博弈论的资源分配方案，以在动态衰落信道下优化性能，在抗干扰能力和通信质量方面取得显著提升。

ABSTRACT

Semantic communication, as a promising technology, has emerged to break through the Shannon limit, which is envisioned as the key enabler and fundamental paradigm for future 6G networks and applications, e.g., smart healthcare. In this paper, we focus on UAV image-sensing-driven task-oriented semantic communications scenarios. The majority of existing work has focused on designing advanced algorithms for high-performance semantic communication. However, the challenges, such as energy-hungry and efficiency-limited image retrieval manner, and semantic encoding without considering user personality, have not been explored yet. These challenges have hindered the widespread adoption of semantic communication. To address the above challenges, at the semantic level, we first design an energy-efficient task-oriented semantic communication framework with a triple-based {\color{black}scene graph} for image information. We then design a new personalized semantic encoder based on user interests to meet the requirements of personalized saliency. Moreover, at the communication level, we study the effects of dynamic wireless fading channels on semantic transmission mathematically and thus design an optimal multi-user resource allocation scheme by using game theory. Numerical results based on real-world datasets clearly indicate that the proposed framework and schemes significantly enhance the personalization and anti-interference performance of semantic communication, and are also efficient to improve the communication quality of semantic communication services.

研究动机与目标

• 解决现有面向无人机感知图像的任务导向语义通信系统中存在的能效低下与个性化不足问题。
• 设计一种通过基于三元组的场景图整合用户特定兴趣与场景上下文的语义通信框架。
• 基于博弈论，设计一种在动态无线衰落信道下实现最优多用户资源分配的方案。
• 利用真实世界数据集，从个性化、抗干扰能力与通信质量三个方面评估所提系统的性能。

提出的方法

• 提出一种基于三元组场景图的任务导向语义通信框架，通过主语-谓语-宾语关系表示图像内容，实现高效的语义编码。
• 设计一种个性化语义编码器，通过建模用户兴趣以优先传输显著的语义特征，提升信息相关性并减少冗余传输。
• 利用统计信道模型分析动态无线衰落信道对语义传输的影响，并推导出中断概率与遍历速率的表达式。
• 设计一种基于博弈论的多用户资源分配方案，在干扰约束下最大化频谱效率与公平性。
• 采用梅杰G函数与广义超几何函数，对关键性能指标（如中断概率与遍历容量）进行解析推导。
• 通过真实世界数据集验证该框架，结果表明在个性化与鲁棒性方面均实现了分析与数值上的性能增益。

Figure 1: An illustration of the proposed task-oriented SemCom system model.

实验结果

研究问题

• RQ1 在无人机感知图像传输场景中，如何使语义通信更具能效与个性化？
• RQ2 动态无线衰落信道对任务导向系统中语义传输的可靠性与质量有何影响？
• RQ3 如何有效建模并整合用户特定兴趣到语义编码过程中以提升信息相关性？
• RQ4 在动态、干扰受限的语义通信环境中，多用户最优资源分配策略是什么？
• RQ5 与传统方法相比，所提框架在抗干扰性能与通信质量方面提升了多少？

主要发现

• 通过在语义编码器中引入用户兴趣建模，所提框架显著提升了个性化水平，减少了无关数据的传输。
• 基于三元组的场景图相比传统基于特征的方法，能够实现更精确且紧凑的图像语义表示。
• 基于博弈论的资源分配方案在高干扰场景下表现出更优的频谱效率与公平性。
• 基于真实世界数据集的数值结果表明，所提系统在抗干扰能力与通信质量方面均优于传统语义通信与传统通信系统。
• 通过仿真验证了中断概率与遍历速率的解析推导结果，证实了数学模型在动态衰落条件下的准确性。
• 该系统在不同信道条件下表现出稳健性能，在可靠性与用户特定相关性方面均有可测量的增益。

Figure 2: The outage probability versus the transmit power, with different multi-path fading parameter $m_{fk}$ .