[论文解读] Segment Anything Meets Semantic Communication

Shehbaz Tariq, Brian Estadimas Arfeto+2 more|arXiv (Cornell University)|Jun 3, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种用于图像传输的语义通信框架，利用零样本图像分割的分割一切模型（SAM）实现高效、与任务相关的特征提取，无需领域特定训练。通过在轻量级神经编码前对图像进行感兴趣区域（ROI）分割，该方法在加性白高斯噪声（AWGN）和瑞利衰落噪声下实现了更高的峰值信噪比（PSNR），同时减少了通信开销并保持了语义保真度。

ABSTRACT

In light of the diminishing returns of traditional methods for enhancing transmission rates, the domain of semantic communication presents promising new frontiers. Focusing on image transmission, this paper explores the application of foundation models, particularly the Segment Anything Model (SAM) developed by Meta AI Research, to improve semantic communication. SAM is a promptable image segmentation model that has gained attention for its ability to perform zero-shot segmentation tasks without explicit training or domain-specific knowledge. By employing SAM's segmentation capability and lightweight neural network architecture for semantic coding, we propose a practical approach to semantic communication. We demonstrate that this approach retains critical semantic features, achieving higher image reconstruction quality and reducing communication overhead. This practical solution eliminates the resource-intensive stage of training a segmentation model and can be applied to any semantic coding architecture, paving the way for real-world applications.

研究动机与目标

• 解决传统图像传输方法在逼近香农容量极限时的局限性。
• 通过聚焦于与任务相关的语义特征而非完整图像重建，提升语义通信中的通信效率。
• 通过利用SAM的零样本泛化能力，消除对分割模型资源密集型训练的需求。
• 实现SAM在任意语义编码架构中的即插即用集成，以支持真实世界部署。
• 评估在噪声信道条件下分割对图像重建质量的影响。

提出的方法

• 采用分割一切模型（SAM）进行零样本、基于提示的图像分割，以提取感兴趣区域（ROI），无需微调或标注数据。
• 应用轻量级神经网络对分割后的图像特征进行联合信源与信道编码，以减少通信开销。
• 使用加性白高斯噪声（AWGN）和瑞利衰落（RF）信道模拟真实无线环境。
• 使用均方误差（MSE）损失函数、Adam优化器和固定学习率0.001，在分割特征上训练语义编码器与解码器。
• 通过CNN解码器从噪声接收信号重建原始图像，形式化表示为 $ x_{in}^\prime = F_{dec}(y) $。
• 在AWGN和RF噪声下，通过不同信噪比（SNR）水平（1–20 dB）的PSNR评估性能。

Figure 1: Depiction of the robustness, speed, and reliability underpinning 6G Networks, highlighting the potential integration of a SAM-based Semantic Communications model for diverse applications.

实验结果

研究问题

• RQ1 使用SAM进行零样本分割是否能提升在噪声信道下语义通信中的图像重建质量？
• RQ2 在编码前对图像进行感兴趣区域（ROI）分割如何影响通信效率和重建保真度？
• RQ3 基于SAM的分割在多大程度上减少了语义编码系统中对领域特定训练的需求？
• RQ4 与非分割基语义通信方法相比，所提方法在AWGN和瑞利衰落条件下的PSNR表现如何？
• RQ5 通过聚焦于相关图像区域，SAM的集成是否能提升任务实现能力，如目标检测或分类？

主要发现

• 所提出的基于SAM的语义通信系统在AWGN和瑞利衰落噪声下，与非分割方法相比，实现了更高的图像重建PSNR。
• 当使用SAM生成的掩码时，图像重建质量显著提升，尤其是在低信噪比（SNR）条件下，归因于特征提取的聚焦。
• 语义特征的压缩比为 $ \frac{1}{6} $，表明在无显著质量损失的情况下大幅减少了数据量。
• 该方法在不同信噪比水平（1–20 dB）下均表现出稳健性能，证明了其对信道噪声的鲁棒性。
• SAM的零样本能力消除了对训练分割模型的需求，可立即应用于多样化、个性化的数据集。
• 图6的视觉对比显示，使用SAM掩码重建的图像（e和f）比无分割的图像（b和c）更接近原始图像（a），尤其在噪声条件下表现更优。

Figure 2: SAM-based framework architecture for Semantic Communication.